Administrator
Published on 2021-12-08 / 125 Visits
0
0

JVM系列之垃圾回收篇

垃圾回收篇

概述

垃圾收集,不是Java语言的伴生产物,早在1960年,第一门开始使用内存动态分配和垃圾收集技术的 Lisp 语言诞生

垃圾收集机制是Java的招牌能力,极大地提高了开发效率,如今,垃圾收集几乎成为现代语言的标配,即使经过如此长时间的发展,Java的垃圾收集机制仍然在不断的演进中,不同大小的设备、不同特征的应用场景,对垃圾收集提出了新的挑战,这当然也是面试的热点

什么是垃圾

垃圾是指在运行程序中没有任何指针指向的对象,这个对象就是需要被回收的垃圾,如果不及时对内存中的垃圾进行清理,那么,这些垃圾对象所占的内存空间会一直保留到应用程序,被保留的空间无法被其他对象使用,甚至可能导致内存溢出

为什么需要GC

对于高级语言来说,一个基本认知是如果不进行垃圾回收,内存迟早都会被消耗完,因为不断地分配内存空间而不进行回收,就好像不停地生产生活垃圾而从来不打扫一样,除了释放没用的对象,垃圾回收也可以清除内存里的记录碎片,碎片整理将所占用的堆内存移到堆的
一端,以便JVM 将整理出的内存分配给新的对象

随着应用程序所应付的业务越来越庞大、复杂,用户越来越多,没有GC就不能保证应用程序的正常进行,而经常造成 STW 的GC又跟不上实际的需求,所以才会不断地尝试对GC进行优化

对于Java开发人员而言,自动内存管理就像是一个黑匣子,如果过度依赖于“自动”,那么这将会是一场灾难,最严重的就会弱化Java开发人员在程序出现内存溢出时定位问题和解决问题的能力

此时,了解JVM的自动内存分配和内存回收原理就显得非常重要,只有在真正了解JVM是如何管理内存后,我们才能够在遇见OutofMemoryError时,快速地根据错误异常日志定位问题和解决问题,当需要排查各种内存溢出、内存泄漏问题时,当垃圾收集成为系统达到更高并发量的瓶颈时,我们就必须对这些自动化技术实施监控和调节

Java垃圾回收的重点区域

垃圾回收器可以对年轻代回收,也可以对老年代回收,甚至是全堆和方法区的回收。其中,Java堆是垃圾收集器的工作重点

  • 频繁收集Young区
  • 较少收集Old区
  • 基本不动Perm区(或元空间)

早期的GC

垃圾回收算法

垃圾判别阶段算法

在堆里存放着几乎所有的java对象实例,在GC 执行垃圾回收之前,首先需要区分出内存中哪些是存活对象,哪些是已经死亡的对象只有被标记为己经死亡的对象,GC才会在执行垃圾回收时,释放掉其所占用的内存空间,因此这个过程我们可以称为垃圾标记阶段

那么在JVM中究竟是如何标记一个死亡对象呢?简单来说,当一个对象已经不再被任何的存活对象继续引用时,就可以宣判为已经死亡

引用计数算法

对每个对象保存一个整型的引用计数器属性,用于记录对象被引用的情况

优缺点

  • 优点
    • 实现简单,垃圾对象便于辨识,判定效率高,回收没有延迟性
  • 缺点
    • 需要单独的字段存储计数器,这样的做法增加了存储空间的开销
    • 每次赋值都需要更新计数器,伴随着加法和减法操作,这增加了时间开销
    • 引用计数器有一个严重的问题,即无法处理循环引用的情况,这是一条致命缺陷,导致在 Java 的垃圾回收器中没有使用

如果想用引用计数算法,怎么解决循环引用

引用计数算法,是很多语言的资源回收选择,例如因人工智能而更加火热的python,它更是同时支持引用计数和垃圾收集机制

具体哪种最优是要看场景的,业界有大规模实践中仅保留引用计数机制,以提高吞吐量的尝试,Java并没有选择引用计数,是因为其存在一个基本的难题,也就是很难处理循环引用关系

Python如何解决循环引用?

  • 手动解除:很好理解,就是在合适的时机,解除引用关系
  • 使用弱引用 weakref,weakref是python提供的标准库,旨在解决循环引用

可达性分析算法

相对于引用计数算法而言,可达性分析算法不仅同样具备实现简单和执行高效等特点,更重要的是该算法可以有效地解决在引用计数算法中循环引用的问题,防止内存泄漏的发生

可达性分析就是 Java、C#选择的,这种类型的垃圾收集通常也叫作追踪性垃圾收集 (Tracing Garbage Collection)

原理

其原理简单来说,就是将对象及其引用关系看作一个图,选定活动的对象作为 GC Roots, 然后跟踪引用链条,如果一个对象和GC Roots之间不可达,也就是不存在引用链条,那么即可认为是可回收对象

基本思路

  • 可达性分析算法是以根对象集合 (GC Roots) 为起始点,按照从上至下的方式搜索被根对象集合所连接的目标对象是否可达
  • 使用可达性分析算法后,内存中的存活对象都会被根对象集合直接或间接连接着,搜索所走过的路径称为引用链 (Reference Chain)
  • 如果目标对象没有任何引用链相连,则是不可达的,就意味着该对象己经死亡,可以标记为垃圾对象
  • 在可达性分析算法中,只有能够被根对象集合直接或者间接连接的对象才是存活对象

优点

实现简单,执行高效,有效的解决了循环引用的问题,防止内存泄露

GC Roots

在Java 语言中,GC Roots 包括以下几类元素

  • 虚拟机栈中引用的对象
    • 比如:各个线程被调用的方法中使用到的参数、局部变量等
  • 本地方法栈内 JNI (通常说的本地方法) 引用的对象
  • 类静态属性引用的对象
    • 比如:Java类的引用类型静态变量
  • 方法区中常量引用的对象
    • 比如:宇符串常量池 (String Table)里的引用
  • 所有被同步锁 synchronized 持有的对象
  • Java虚拟机内部的引用
    • 基本数据类型对应的 Class 对象
    • 一些常驻的异常对象(如:NullPointerException、outOfMemoryError)
    • 系统类加载器
  • 反映 java 虚拟机内部情况的 JNXBean、JVMTI中注册的回调、本地代码缓存等
  • 除了这些固定的 GC Roots集合以外,根据用户所选用的垃圾收集器以及当前回收的内存区域不同,还可以有其他对象“临时性” 地加入,共同构成完整GC Roots集合,比如:分代收集和局部回收(Partial GC)
    • 如果只针对 Java 堆中的某一块区域进行垃圾回收(比如:典型的只针对新生代),必须考虑到内存区域是虚拟机自己的实现细节,更不是孤立封闭的,这个区域的对象完全有可能被其他区域的对象所引用,这时候就需要一并将关联的区域对象也加入GC Roots集合中去考虑,才能保证可达性分析的准确性
  • 由于Root 采用栈方式存放变量和指针,所以如果一个指针,它保存了堆内存里面的对象,但是自己又不存放在堆内存里面,那它就是一个Root

注意点

如果要使用可达性分析算法来判断内存是否可回收,那么分析工作必须在一个能保障一致性的快照中进行,这点不满足的话分析结果的准确性就无法保证

这点也是导致GC进行时必须 “stop The World” 的一个重要原因,即使是号称(几乎)不会发生停顿的 CMS 收集器中,枚举根节点时也是必须要停顿的

MAT 与 Jprofiler的GC Roots渊源

垃圾清除阶段算法

当成功区分出内存中存活对象和死亡对象后,GC 接下来的任务就是执行垃圾回收,释放掉无用对象所占用的内存空间,以便有足够的可用内存空间为新对象分配内存,目前在JVM中比较常见的三种垃圾收集算法是 标记一清除算法(Mark-Sweep)、复制算法(copying)、标记 - 压缩算法 ( Mark-Compact)

标记-清除算法

标记一清除算法(Mark-sweep)是一种非常基础和常见的垃圾收集算法,该算法被 J.McCarthy 等人在1960年提出并应用于工Lisp语言

执行过程

当堆中的有效内存空间 (available memory)被耗尽的时候,就会停止整个程序(也被称为 Stop The World),然后进行两项工作,第一项则是标记,第二项则是清除

  • 标记:Collector 从引用根节点开始遍历,标记所有被引用的对象,一般是在对象的 Header 中记录为可达对象
  • 清除:Collector 对堆内存从头到尾进行线性的遍历,如果发现某个对象在其 Header 中没有标记为可达对象,则将其回收

缺点

  • 效率比较低:递归与全堆对象遍历两次
  • 在进行GC的时候,需要停止整个应用程序,导致用户体验差
  • 这种方式清理出来的空闲内存是不连续的,产生内存碎片

注意:何为清除?
这里所谓的清除并不是真的置空,而是把需要清除的对象地址保存在空闲的地址列表里,下次有新对象需要加载时,判断垃圾的位置空间是否够,如果够,就存放

复制算法

将活着的内存空间分为两块,每次只使用其中一块,在垃圾回收时将正在使用的内存中的存活对象复制到未被使用的内存块中,之后清除正在使用的内存块中的所有对象,交换两个内存的角色,最后完成垃圾回收

  • 优点
    • 实现简单,运行高效
    • 复制过去以后保证空间的连续性,不会出现 “碎片” 问题
  • 缺点
    • 此算法的缺点也是很明显的,就是需要两倍的内存空间
    • 对于G1这种分拆成为大量 region 的GC,复制而不是移动,意味着 GC 需要维护region之间对象引用关系,不管是内存占用或者时间开销也不小
    • 如果系统中的存活对象很多,复制算法不会很理想。因为复制算法需要复制的存活对象数量并不会太大,或者说非常低才行

标记-清除的标记过程是为清除做准备的,需要获取的内容是哪些是没有用的,可达性分析过程中找到的都是需要保留的内容,不是需要清除的内容,所以需要做标记,在清除的时候清除没有标记的

但是复制的算法需要获取的是哪些是有用的,也就是说可达性分析的过程中已经完成了筛选,分析过程中就可以将这一部分内容复制到另一半空间中,然后把原来的一半空间完全清除就可以了,没有标记的必要

应用场景

在新生代,对常规应用的垃圾回收,一次通常可以回收 70%-99% 的内存空间,回收性价比很高,所以现在的商业虚拟机都是用这种收集算法回收新生代,比如:TBM 公司的专门研究非明,新生代中 80% 的对象都是朝生夕死的

标记-压缩算法

复制算法的高效性是建立在存活对象少、垃圾对象多的前提下的,这种情况在新生代经常发生,但是在老年代,更常见的情况是大部分对象都是存活对象,如果依然使用复制算法,由于存活对象较多,复制的成本也将很高,因此,基于老年代垃圾回收的特性,需要使用其他的算法

标记一清除算法的确可以应用在老年代中,但是该算法不仅执行效率低下,而且在执行完内存回收后还会产生内存碎片,所以JVM 的设计者需要在此基础之上进行改进,标记 - 压缩 (MarkCompact) 算法由此诞生

执行过程

  • 第一阶段和标记一清除算法一样,从根节点开始标记所有被引用对象
  • 第二阶段将所有的存活对象压缩到内存的一端,按顺序排放
  • 之后,清理边界外所有的空间

标记一压缩算法的最终效果等同于标记一清除算法执行完成后,再进行一次内存碎片整理,因此也可以把它称为标记一清除一压缩(MarkSweep-compact) 算法

二者的本质差异在于标记一清除算法是一种非移动式的回收算法,标记一压缩是移动式的,是否移动回收后的存活对象是一项优缺点并存的风险决策

可以看到,标记的存活对象将会被整理,按照内存地址依次排列,而未被标记的内存会被清理掉,如此一来,当我们需要给新对象分配内存时,JVM只需要持有一个内存的起始地址即可,这比维护一个空闲列表显然少了许多开销

指针碰撞

如果内存空间以规整和有序的方式分布,即己用和未用的内存都各自一边,彼此之间维系着一个记录下一次分配起始点的标记指针,当为新对象分配内存时,只需要通过修改指针的偏移量将新对象分配在第一个空闲内存位置上,这种分配方式就叫做指针碰撞 ( Bump the Pointer)

优缺点

  • 优点
    • 消除了标记/清除算法当中,内存区域分散的缺点,我们需要给新对象分配内存时,JVM只需要持有一个内存的起始地址即可
    • 消除了复制算法当中,内存减半的高额代价
  • 缺点
    • 从效率上来说,标记-压缩算法要低于复制算法
      • 不仅要标记所有在活对象,还要整理所有在活对象的引用地址
      • 对于老年代每次都有大量对象在活的区城来说,极为负重
    • 移动对象的同时,如果对象被其他对象引用,则还需要调整引用的地址
    • 移动过程中,需要全程暂停用户应用程序,即:STW6

分代收集算法

三种算法的对比

Mark-SweepMark-Compactcopying
速度中等最慢最快
空间开销少(但是会堆积碎片)少(不堆积碎片)活对象的2被倍大小,不堆积碎片
移动对象
  • 效率上来说,复制算法是当之无愧的老大,但是却浪费了太多内存
  • 而为了尽量兼顾上面提到的三个指标,标记-整理算法相对来说更平滑一些,但是效率上不尽如人意,它比复制算法多了一个标记的阶段,比标记-清除多了一个整理内存的阶段
  • 分代收集算法,是基于这样一个事实:不同的对象的生命周期是不一样的,因此,不同生命周期的对象可以采取不同的收集方式,以便提高回收效率
  • 一般是把Java堆分为新生代和老年代,这样就可以根据各个年代的特点使用不同的回收算法,以提高垃圾回收的效常
  • 在Java程序运行的过程中,会产生大量的对象,其中有些对象是与业务信息相关,比如Http请求中的session对象、线程、socket连接,这类对象跟业务直接挂钩,因此生命周期比较长
  • 但是还有一些对象,主要是程序运行过程中生成的临时变量,这些对象生命周期会比较短,比如String对象,由于其不变类的特性, 系统会大最产生这些对象,有些对象共至只用一次即可回收

执行过程

  • 目前几乎所有的GC都是采用分代收集 ( Generational Collecting)算法执行垃圾回收的
  • 在Hotspot中,基于分代的概念,GC 所使用的内存回收算法必须结合年轻代和老年代各自的特点
  • 年轻代 (Young Gen)
    • 区域相对老年代较小,对象生命因期短、 存活率低,回收频繁
    • 这种情况复制算法的回收整理,速度是最快的,复制算法的效率只和当前存活对象大小有关,因此很适用于年轻代的回收,而复制算法内存利用率不高的问题,通过hotspot中的两个survivor的设计得到缓解
  • 老年代 (Tenured Gen)
    • 区域较大,对象生命周期长、存活率高,回收不及年轻代频繁
    • 这种情况存在大量存活率高的对象,复制算法明显变得不合适,一般是由标记-清除或者是标记-清除与标记-整理的混合实现
      • Mark 阶段的开销与存活对象的数量成正比
      • Sweep阶段的开销与所管理区域的大小成正相关
      • Compact 阶段的开销与存活对象的数据成正比
  • 以 Hotspot 中的 CMS 回收器为例,CMS是基于Mark-sweep实现的,对于对象的回收效幸很高。而对于碎片问題,CMS采用基于Mark-Compact 算法的 Serial Old 回收器作为补偿措施:当内存回收不佳(碎片导致的concurrent mode failure时)将采用 Serial Old 执行Full GC以达到对老年代的内存整理
  • 分代的思想被现有的虚拟机广泛使用,几乎所有的垃圾回收器都区分新生代和老年代

增量收集算法

上述现有的算法,在垃圾回收过程中,应用软件将处于一种 Stop The World 的状态,在 Stop The World 状态下,应用程序所有的线程都会挂起暂停一切正常的工作,等待垃圾回收的完成,如果垃圾回收时间过长,应用程序会被挂起很久,将严重影响用户体验或者系统的稳定性

为了解决这个问题,即对实时垃圾收集第法的研究直接导致了增量收集 (Incremental collecting)算法的诞生

基本思想

如果一次性将所有的垃圾进行处理,需要造成系统长时间的停顿,那么就可以让垃圾收集线程和应用程序线程交替执行,每次,垃圾收集线程只收集一小片区城的内存空间,接着切换到应用程序线程,依次反复,直到垃圾收集完成

总的来说,增量收集算法的基础仍是传统的标记-清除和复制算法,增量收集算法通过对线程间冲突的妥善处理,允许垃圾收集线程以分阶段的方式完成标记、清理或复制工作

缺点

使用这种方式,由于在垃圾回收过程中,间断性地还执行了应用程序代码,所以能诚少系统的停顿时间,但是,因为线程切换和上下文转换的消耗,会使得垃圾回收的总体成本上升,造成系统吞吐量的下降

分区算法

  • G1 GC 使用的算法
  • 分代算法将按照对象的生命周期长短划分成两个部分,分区算法将整个堆空间划分成连续的不同小区间,每一个小区间都独立使用,独立回收,这种算法的好处是可以控制一次回收多少个小区间
  • 一般来说,在相同条件下,堆空间越大,一次GC时所需要的时间就越长,有关GC产生的停顿也越长,为了更好地控制GC产生的停顿时间,将一块大的内存区城分割成多个小块,根据目标的停顿时间,每次合理地回收若干个小区间,而不是整个堆空间,从而减少一次GC所产生的停额

相关概念

System.gc()

  • 在默认情况下,通过 System.gc() 或者 Runtime. getRuntime().gc() 的调用,会显式触发 Full GC,同时对老年代和新生代进行回收,尝试释放被丢弃对象占用的内存
  • 然而 System.gc() 调用附带一个免责声明,无法保证对垃圾收集器的调用
  • JVM 实现者可以通过 System.gc() 调用来决定JVM的GC行为,而一般情况下,垃圾回收应该是自动进行的,无须手动触发,否则就太过于麻烦了,在一些特殊情况下,如我们正在编写一个性能基淮,我们可以在运行之间调用 System.gc()

finalize()

finalize() 是object的protected方法,子类可以覆盖该方法以实现资源清理工作,GC在回收对象之前调用该方法

finalize 的作用

finalize() 与C++ 中的析构函数不是对应的,C++中的析构函数调用的时机是确定的(对象离开作用域或delete掉),但Java中的finalize的调用具有不确定性,不建议用finalize方法完成“非内存资源”的清理工作

但建议用于:

① 清理本地对象(通过JNI创建的对象)

② 作为确保某些非内存资源(如Socket、文件等)释放的一个补充:在finalize方法中显式调用其他资源释放方法

finalize 的问题

  • 一些与finalize相关的方法,由于一些致命的缺陷,已经被废弃了,如System.runFinalizersOnExit()、Runtime.runFinalizersOnExit()
  • System.gc()与System.runFinalization()方法增加了finalize方法执行的机会,但不可盲目依赖它们
  • Java语言规范并不保证finalize方法会被及时地执行、而且根本不会保证它们会被执行
  • finalize方法可能会带来性能问题,因为JVM通常在单独的低优先级线程中完成finalize的执行
  • 对象再生问题:finalize方法中,可将待回收对象赋值给GC Roots可达的对象引用,从而达到对象再生的目的,finalize方法至多由GC执行一次(用户当然可以手动调用对象的finalize方法,但并不影响GC对finalize的行为)

finalize 的执行过程

内存溢出

  • 内存溢出相对于内存泄漏来说,尽管更容易被理解,但是同样的,内存溢出也是引发程序崩溃的罪魁祸首之一
  • 由于GC一直在发展,所有一般情况下,除非应用程序占用的内存增长速度非常快,造成垃圾回收己经跟不上内存消耗的速度,否则不太容易出现OOM的情况
  • 大多数情况下,GC会进行各种年龄段的垃圾回收,实在不行了就放大招,来一次独占式的Full GC操作,这时候会回收大量的内存,供应用程序继续使用
  • javadoc中对 outOfMemoryError 的解释是,没有空闲内存,并且垃圾收集器也无法提供更多内存

内存不够的原因

  • 首先说没有空闲内存的情况:说明Java虚拟机的堆内存不够,原因有二
  • Java虚拟机的堆内存设置不够,比如:可能存在内存泄漏问题,也很有可能就是堆的大小不合理,比如我们要处理比较可观的数据量,但是没有显式指定JVM堆大小或者指定数值偏小,我们可以通过参数 -Xms、-Xmx来调整
  • 代码中创建了大量大对象,并且长时间不能被垃圾收集器收集(存在被引用),对于老版本的Oracle JDK,因为永久代的大小是有限的并且JVM对永久代垃圾回收(如常量池回收、卸载不再需要的类型)非常不积极,所以当我们不断添加新类型的时候,永久代出现OutofMemoryError 也非常多见,尤其是在运行时存在大量动态类型生成的场合:类似 intern 字符串缓存占用太多空间,也会导致ooM问题,对应的异常信息, 会标记出来和永久代相关:"java.lang. OutOfMemoryError: PermGen space"
  • 随着元数据区的引入,方法区内存己经不再那么窘迫,所以相应的OOM有所改观,出现0OM,异常信息则变成了:
    "java.lang.OutOfMemoryError: Metaspace" ,直接内存不足,也会导致OOM

OOM之前必有GC吗

  • 这里面隐含着一层意思是,在抛出 OutOfMemoryError 之前,通常垃圾收集器会被触发,尽其所能去清理出空间
  • 例如:在引用机制分析中,涉及到JVM会去尝试回收软引用指向的对象等
  • 在java.nio.bIts.reserveMemory() 方法中,我们能清楚的看到,System.gc()会被调用,以清理空间
  • 当然,也不是在任何情况下垃圾收集器都会被触发的,比如,我们去分配一个超大对象,类似一个超大数组超过堆的最大值,JVM可以判
    断出垃圾收集并不能解决这个问题,所以直接抛出OutOfMemoryError

内存泄漏

内存泄漏的情况

  • 静态集合类
    • 静态集合类,如HashMap、 LinkedList等等,如果这些容器为静态的,那么它们的生命周期与JVM程序一致,则容器中的对象在程序结束之前将不能被释放,从而造成内存泄漏,简单而言,长生命周期的对象特有短生命周期对象的引用,尽管短生命周期的对象不再使用,但是因为长生命周期对象持有它的引用而导致不能被回收
  • 单例模式
    • 单例模式,和静态集合导致内存泄露的原因类似,因为单例的静态特性,它的生命周期和JVM 的生命周期一样长,所以如果单例对象如果持有外部对象的引用,那么这个外部对象也不会被回收,那么就会造成内存泄漏
  • 内部类持有外部类
    • 如果一个外部类的实例对象的方法返回了一个内部类的实例对象,这个内部类对象被长期引用了,即使那个外部类实例对象不再被使用,但由于内部类持有外部类的实例对象,这个外部类对象将不会被垃圾回收,这也会造成内存泄漏
  • 各种连接,如数据库连接、网络连接和IO连接忘记关闭,导致大量对象无法被回收,造成内存泄漏
  • 变量不合理的作用域
    • 一般而言,一个变量的定义的作用范围大于其使用范围,很有可能会造成内存泄漏,另一方面,如果没有及时地把对象设置为null,很有可能导致内存泄漏的发生
  • 改变哈希值
    • 当一个对象被存储进 Hashset 集合中以后,就不能修改这个对象中的那些参与计算哈希值的字段,否则,对象修改后的哈希值与最初存储进Hashset集合中时的哈希值就不同了,在这种情况下,即使在contains方法使用该对象的当前引用作为的参数Hashset集合中检索对象,也将返回找不到对象的结果,这也会导致无法从Hashset 集合中单独删除当前对象,造成内存泄漏
    • 这也是 string 为什么被设置成了不可变类型,我们可以放心地把 string 存入Hashset,或者把 String 当做HashMap 的 key 值
    • 当我们想把自己定义的类保存到散列表的时候,需要保证对象的hashcode 不可变
  • 缓存泄漏
    • 内存泄漏的另一个常见来源是缓存,一旦你把对象引用放入到缓存中,他就很容易遗忘
    • 比如:之前项目在一次上线的时候,应用启动奇慢直到卡死,就是因为代码中会加载一个表中的数据到缓存(内存)中,测试环境只有几百条数据,但是生产环境有几百万的数据
    • 对于这个问题,可以使用WeakHashMap代表缓存,此种Map的特点是,当除了自身有对 key 的引用外,此key没有其他引用,那么此map会自动丢弃此值
  • 监听器和回调
    • 内存泄漏另一个常见来源是监听器和其他回调,如果客户端在你实现的API中注册回调,却没有显式的取消,那么就会积聚
    • 需要确保回调立即被当作垃圾回收的最佳方法是只保存它的弱引用,例如将他们保存成为WeakHashMap中的键

STW

  • Stop-The-World,简称STW,指的是GC事件发生过程中,会产生应用程序的停顿,停顿产生时整个应用程序线程都会被暂停,没有任何响应,有点像卡死的感觉,这个停顿称为STW
  • 可达性分析算法中枚举根节点 (GC Roots)会导致所有Java执行线程停顿,分析工作必须在一个能确保一致性的快照中进行,一致性指整个分析期间整个执行系统看起来像被冻结在某个时间点上,如果出现分析过程中对象引用关系还在不断变化,则分析结果的准确性无法保证
  • 被STW中断的应用程序线程会在完成GC之后恢复,频繁中断会让用户感觉像是网速不快造成电影卡一样,所以我们需要减少STW的发生
  • STW事件和采用哪款GC无关,所有的GC都有这个事件
  • 哪怕是G1也不能完全避免 Stop-The-World 情况发生,只能说垃圾回收器越来越优秀,回收效率越来越高,尽可能地缩短了暂停时间
  • STW是JVM在后台自动发起和自动完成的。在用户不可见的情况下,把用户正常的工作线程全部停掉
  • 开发中不要使用 System.gc(),会导致STW的发生

垃圾回收的并行与并发

安全点

程序执行时并非在所有地方都能停顿下来开始 GC,只有在特定的位置才能停顿下来开始 GC,这些位置称为“安全点 (Safepoint)

Safe Point 的选择很重要,如果太少可能导致GC等待的时间太长,如果太频繁可能导致运行时的性能问题,大部分指令的执行时间都非常短暂,通常会根据 “是否具有让程序长时间执行的特征” 为标准,比如:选择一些执行时间较长的指令作为 Safe Point,如方法调用、循环跳转和异常跳转等

如何在 GC 发生时,检查所有线程都跑到最近的安全点停顿下来呢?

  • 抢先式中断:(目前没有虚拟机采用了)首先中断所有线程。如果还有线程不在安全点,就恢复线程,让线程跑到安全点
  • 主动式中断:设罝一个中断标志,各个线程运行到 Safe Point 的时候主动轮询这个标志,如果中断标志为真,则将自己进行中断挂起

安全区域

Safepoint 机制保证了程序执行时,在不太长的时间内就会遇到可进入 GC 的Safepoint,但是,程序“不执行”的时候呢?例如线程处于 Sleep 状态或Blocked 状态,这时候线程无法响应 JVM 的中断请求,执行到安全点去中断挂起,JVM 也不太可能等待线程被唤醒,对于这种情况,就需要安全区域 (Safe Region)来解决

安全区域是指在一段代码片段中,对象的引用关系不会发生变化,在这个区域中的任何位置开始 GC 都是安全的,我们也可以把 Safe Region 看做是被扩展了的 Safepoint

实际执行

  • 当线程运行到 Safe Region 的代码时,首先标识己经进入了 Safe Region,如果这段时间内发生GC,JVM会忽略标识为 Safe Region 状态的线程
  • 当线程即将离开 Safe Region 时,会检查JVM是否已经完成 GC,如果完成了,则继续运行,否则线程必须等待直到收到可以安全离开Safe Region的信号为止

5种引用

强引用:不回收

  • 在Java程序中,最常见的引用类型是强引用 (普通系统99%以上都是强引用),也就是我们最常见的普通对象引用,也是默认的引用类型
  • 当在Java语言中使用new操作符创建一个新的对象,并将其赋值给一个变量的时候,这个变量就成为指向该对象的一个强引用
  • 强引用的对象是可触及的,拉圾收集器就永远不会回收掉被引用的对象
  • 对于一个普通的对象,如果没有其他的引用关系,只要超过了引用的作用域或者显式地将相应(强)引用赋值为null,就是可以当做垃圾被收集了,当然具体回收时机还是要看垃圾收集策略
  • 相对的,软引用、弱引用和虛引用的对象是软可触及、弱可触及和虚可触及的,在一定条件下,都是可以被回收的,所以,强引用是造成Java内存泄漏的主要原因之一

软引用:内存不足即回收

  • 软引用是用来描述一些还有用,但非必需的对象,只被软引用关联着的对象,在系统将要发生内存溢出异常前,会把这些对象列进回收范围之中进行第二次回收,如果这次回收还没有足够的内存,才会抛出内存溢出异常
  • 软引用通常用来实现内存敏感的缓存,比如:高速缓存就有用到软引用,如果还有空闲内存,就可以暂时保留缓存,当内存不足时清理掉,这样就保证了使用缓存的同时,不会耗尽内存
  • 垃圾回收器在某个时刻决定回收软可达的对象的时候,会清理软引用,并可选地把引用存到一个引用队列 (Reference Queue)类似弱引用,只不过Java虛拟机会尽量让软引用的存活时间长一些,迫不得己才清理
  • 在JDK 1.2版之后提供了 java. lang.ref.SoftReference 类来实现软引用

弱引用:发现即回收

  • 弱引用也是用来描述那些非必需对象,只被弱引用关联的对象只能生存到下一次垃圾收集发生为止,在系统GC时,只要发现弱引用,不管系统堆空间使用是否充足,都会回收掉只被弱引用关联的对象
  • 但是,由于垃圾回收器的线程通常优先级很低,因此,并不一定能很快地发现持有弱引用的对象,在这种情況下,弱引用对象可以存在较长的时间
  • 弱引用和软引用一样,在构造弱引用时,也可以指定一个引用队列,当弱引用对象被回收时,就会加入指定的引用队列,通过这个队列可以跟踪对象的回收情况
  • 弱引用非常适合来保存那些可有可无的缓存数据,如果这么做,当系统内存不足时,这些缓存数据会被回收,不会导致内存溢出,而当内存资源充足时,这些缓存数据又可以存在相当长的时间,从而起到加速系统的作用
  • 在JDK 1.2版之后提供了 java. lang.ref.WeakReference 类来实现弱引用

虚引用:对象回收追踪

  • 是所有引用类型中最弱的一个
  • 一个对象是否有虚引用的存在,完全不会决定对象的生命周期,如果一个对象仅持有虚引用,那么它和没有引用几乎是一样的,随时都可能被垃圾回收器回收
  • 它不能单独使用,也无法通过虚引用来获取被引用的对象,当试图通过虚引用的 get() 方法取得对象时,总是null
  • 为一个对象设置虚引用关联的唯一目的在于跟踪垃圾回收过程,比如:能在这个对象被收集器回收时收到一个系统通知
  • 虚引用必须和引用队列一起使用,虚引用在创建时必须提供一个引用队列作为参数,当垃圾回收器准备回收一个对象时,如果发现它还有虚引用,就会在回收对象后,将这个虛引用加入引用队列,以通知应用程序对象的回收情况
  • 由于虚引用可以跟踪对象的回收时间,因此,也可以将一些资源释放操作放置在虚引用中执行和记录
  • 在JDK 1.2版之后提供了PhantomReference 类来实现虚引用

终结器引用

  • 它用以实现对象的finalize()方法,也可以称为终结器引用
  • 无需手动编码,其内部配合引用队列使用
  • 在GC时,终结器引用入队,由Finalizer线程通过终结器引用找到被引用对象并调用它的finalize(方法,第二次GC时才能回收被引用对象

垃圾回收器

GC分类

串行与并行

  • 按线程数分,可以分为串行垃圾回收器和并行垃圾回收器
  • 串行回收指的是在同一时间段内只允许有一个CPU用于执行垃圾回收操作,此时工作线程被暂停,直至垃圾收集工作结束
    • 在诸如单CPU处理器或者较小的应用内存等硬件乎台不是特别优越的场合,串行回收器的性能表现可以超过并行回收器和并发回收器,所以,串行回收默认被应用在客户端的Client模式下的JVM中
    • 在并发能力比较强的CPU上,并行回收器产生的停顿时间要短于串行回收器

并发式与独占式

  • 按照工作模式分,可以分为并发式垃圾回收器和独占式垃圾回收器
  • 并发式垃圾回收器与应用程序交替工作,以尽可能减少应用程序的停顿时间
  • 独占式垃圾回收器(stop the world)一旦运行,就停止应用程序中的所有用户线程,直到垃圾回收过程完全结束

压缩式与非压缩式

  • 按碎片处理方式分,可分为压缩式垃圾回收器和非压缩式垃圾回收器
  • 压缩式垃圾回收器会在回收完成后,对存货对象进行压缩整理,消除回收后的碎片
    • 再分配对象空间使用:指针碰撞
  • 非压缩式的垃圾回收器不进行这步操作
    • 再分配对象空间使用:空闲列表

年轻代与老年代

按工作的内存区间分,又可分为年轻代垃圾回收器和老年代垃圾回收器

GC评估指标

  • 吞吐量:程序的运行时间(程序运行时间 + 内存回收时间)
  • 垃圾收集开销:吞吐量的补数,垃圾收集器所占时间与总时间的比例
  • 暂停时间:执行垃圾收集时,程序的工作线程被暂停的时间
  • 收集频率:相对于应用程序的执行,收集操作发生的频率
  • 内存占用:Java 堆区所占的内存大小
  • 快速:一个对象从诞生到被回收所经历的时间

吞吐量优先:单位时间内,STW 的时问最短:0.2+0.2 =0.4

响应时间优先:尽可能让单次STW的时间最短:0.1+0.1+ 0.1+0.1+0.1=0.5

吞吐量、暂停时间、内存占用共同构成一个 “不可能三角”,三者总体的表现会随着技术进步而越来越好,一款优秀的收集器通常最多同时满足其中的两项,吞吐量越大越好,响应时间越短越好

这三项里,暂停时间的重要性日益凸显,因为随着硬件发展,内存占用多些越来越能容忍,硬件性能的提升也有助于降低垃圾收集器运行时对应用程序的影响,即提高了吞吐量,而内存的扩大,对延迟反而带来负面效果

吞吐量

  • 吞吐量就是CPU用于运行用户代码的时间与CPU总消耗时间的比值,即吞吐量 = 运行用户代码时间 / (运行用户代码时间 +垃圾收集时间)
  • 比如:虚拟机总共运行了100分钟,其中垃圾收集花掉1分钟,那吞吐量就是99%
  • 这种情况下,应用程序能容忍较高的暂停时间,因此,高吞吐量的应用程序有更长的时间基准,快速响应是不必考虑的
  • 吞吐量优先,意味着在单位时间内,STW的时间最短

暂停时间

  • 暂停时间是指一个时间段内应用程序线程暂停,让GC线程执行的状态,例如,GC期间109毫秒的暂停时间意味着在这190毫秒期间内没有应用程序线程是活动的
  • 暂停时间优先,意味着尽可能让单次STW的时间最短

小结

  • 评估GC的性能指标:吞吐量 vs 暂停时间
  • 高吞吐量较好因为这会让应用程序的最终用户感觉只有应用程序线程在做“生产性”工作,直觉上,吞吐量越高程序运行越快
  • 低暂停时间(低延迟〉较好因为从最终用户的角度来看不管是GC还是其他原因导致应用被挂起始终是不好的,这取决于应用程序的类型,有时候甚至短暂的200毫秒暂停都可能打断终端用户体验,因此,具有低的较大暂停时间是非常重要的,特别是对于交互式应用程序
  • 不幸的是 ” 高吞吐量” 和 ”低暂停时间” 是一对相互竞争的目标(矛盾)
    • 因为如果选择以吞吐量优先,那么必然需要降低内存回收的执行频率,但是这样会导致GC需要更长的暂停时间来执行内存回收
    • 相反的,如果选择以低延迟优先为原则,那么为了降低每次执行内存回收时的暂停时间,也只能频繁地执行内存回收,但这又引起了年轻代内存的缩减和导致程序吞吐量的下降
  • 在设计 (或使用)GC算法时,我们必须确定我们的目标:一个GC算法只可能针对两个目标之一(即只专注于较大吞吐量或最小暂停时间),或尝试找到一个二者的折衷
  • 现在JVM调优标准:在最大吞吐量优先的情况下,降低停顿时间

垃圾回收器都有哪些

  • 串行回收器: Serial、 Serial Old

  • 并行回收器:ParNew、Parallel Scavenge、Parallel Old

  • 并发回收器:CMS、G1

  • 新生代:Serial、Parallel Scavenge、ParNew

  • 老年代: Serial Old、Parallel Old、CMS

  • 通用:G1

GC发展史

  • 有了虚拟机。就一定需要收集垃圾的机制,这就是 Garbage Collection,对应的产品我们称为Garbage collector
  • 1999年随 JDK1.3.1一起来的是串行方式的 Serial Gc ,它是第一款GC,ParNew垃圾收集器是Serial收集器的多线程版本
  • 2002年2月26日, Parallel GC 和 Concurrent Mark Sweep GC随JDK1.4.2一起发布
  • Parallel GC 在 JDK6 之后成为HotSpot默认GC
  • 2012年,在JDK1.7a4版本中,G1可用
  • 2017年,JDK9中G1变成默认的垃圾收集器,以替代CMS
  • 2018年3月,JDK 10中 G1 垃圾回收器的并行完整垃圾回收,实现并行性来改善最坏情况下的延迟
  • 2018年9月,JDK11发布。引入 Epsilon 垃圾回收器,又被称为 "No-0p(无操作)“ 回收器,同时,引入ZGC:可伸缩的低延迟垃圾回收器
  • 2019年3月,JDK12发布,增强 G1,自动返回未用堆内存给操作系统,同时,引入Shenandoah GC:低停顿时间的GC
  • 2020年3月,JDK14发布,删除CMS垃圾回收器,扩展ZGC在macOS和windows上的应用

7种GC组合关系

gc-collector

  • 两个收集器问有连线,表明它们可以搭配使用
    • Serial / Serial Old
    • Serial / CMS
    • ParNew / Serial Old
    • ParNew / CMS
    • Parallel Scavenge / Serial Old
    • Parallel Scavenge / Parallel Old
    • G1
  • 其中 Serial old 作为 CMS 出现 "Concurrent Mode Failure" 失败的后备预案
  • 红色虚线,由于维护和兼容性测试的成本,在JDK 8时将Serial + CMS、ParNew + Serial Old这两个组合声明为废弃(JEP 173),并在JDK 9中完全取消了这些组合的支持(JEP214)
  • 绿色虚线在 JDK14中:弃用 Parallel Scavenge 和 Serialold GC组合(JEP366)
    青色虚线在 JDK14中:删除CMS垃圾回收器 (JEP 363)

为什么这么多GC

  • 因为Java的使用场景很多,移动端,服务器等,所以就需要针对不同的场景,提供不同的垃圾收集器,提高垃圾收集的性能
  • 虽然我们会对各个收集器进行比较,但并非为了挑选一个最好的收集器出来,没有一种放之四海皆准、任何场景下都适用的完美收集器存在,更加没有万能的收集器,所以我们选择的只是对具体应用最合适的收集器

如何查看默认GC

  • -XX:+PrintCommandLineFlags:查看命令行相关参数(包含使用的垃圾收集器)
  • 使用命令行指令:jinfo -flag

Serial GC:串行回收

  • Serial 收集器是最基本,历史最悠久的垃圾收集器了,JDK13之前回收新生代唯一的选择
  • Serial 收集器作为 Hotspot 中 Client 模式下的默认新生代垃圾收集器
  • Serial 收集器采用复制算法、串行回收和 ”Stop-the-World” 机制的方式执行内存回收
  • 除了年轻代之外,Serial 收集器还提供用于执行老年代垃圾收集的 Serial old 收集器,Serial Old 收集器同样也采用了串行回收和 ”Stop the world” 机制,只不过内存回收算法使用的是标记-压缩算法
    • Serial Old 是运行在 Client 模式下默认的老年代的垃圾回收器
    • Serial Old 在 Server 模式下主要有两个用途
      • 与新生代的Parallel Scavenge配合使用
      • 作为老年代CMS收集器的后备垃圾收集方案
  • 这个收集器是一个单线程的收集器,但它的“单线程”的意义并不仅仅说明它只会使用一个 CPU 或一条收集线程去完成垃圾收集工作,更重要的是在它进行垃圾收集时,必须暂停其他所有的工作线程,直到它收集结束 (Stop The world)

优势

  • 简单而高效,对于限定单个CPU 的环境来说,Serial 收集器由于没有线程交互的开销,垃圾收集自然可以获得最高的单线程收集效率
  • 运行在 Client 模式下的虚拟机是个不错的选择
  • 在用户的桌面应用场景中,可用内存一般不大(几十MB至一两百MB),可以在较短时间内完成垃圾收集(几十ms至一百多ms),只要不频繁发生,使用串行回收器是可以接受的

参数

  • 在Hotspot虛拟机中,使用 -XX:+UseserialGC 参数可以指定年轻代和老年代都使用串行收集器
  • 等价于新生代用 Serial GC,且老年代用 Serial old GC

总结

  • 现在己经不用串行的了,而且在限定单核cpu才可 以用。现在都不是单核的了
  • 对于交互较强的应用而言,这种垃圾收集器是不能接受的,一般在 Java web 应用程序中是不会采用串行垃圾收集器的

ParNew GC:并行回收

  • 如果说 Serial GC 是年轻代中的单线程垃圾收集器,那么 ParNew 收集器则是 Serial 收集器的多线程版本
  • Par是 Parallel 的缩写,New代表处理的是新生代
  • ParNew 收集器除了采用并行回收的方式执行内存回收外,两款垃圾收集器之间几乎没有任何区别,ParNew 收集器在年轻代中同样也是采用复制算法、”Stop-the-World” 机制
  • ParNew 是很多 JVM 运行在 Server 模式下新生代默认垃圾回收器
  • 对于新生代,回收次数频繁,使用并行方法高效
  • 对于老年代,回收次数少,使用串行方式节省资源(CPU并行需要切换线程,串行可以省去切换线程的资源)

ParNewGC更好?

  • ParNewGC 收集器运行在多CPU的环境下,由于可以充分利用多CPU、多核心等物理硬件资源优势,可以更快速地完成垃圾收集,提升程序的吞吐量
  • 但是在单个Cpu的环境下,ParNew收集器不比Serial 收集器更高效,虽然Serial收集器是基于串行回收,但是由于CPU不需要频繁地做任务切换,因此可以有效避免多线程交互过程中产生的一些额外开销
  • 因为除 Serial 外,目前只有 ParNew GC能与CMS收集器配合工作

参数

  • 在程序中,开发人员可以通过选项 "-XX:+UseParNewGC" 手动指定使用 ParNew 收收集器执行内存回收任务,它表示年轻代使用并行收集器,不影响老年代
  • -XX:ParallelGCThreads 限制线程数量,默认开启和CPU数据相同的线程数

Parallel GC:吞吐量优先

  • Hotspot 的年轻代中除了拥有 ParNew 收集器是基于并行回收的以外,Parallel Scavenge收集器同样也采用了复制算法、并行回收和 ”stop the world” 机制
  • 那么Parallel收集器的出现是否多此一举?
    • 和 ParNew 收集器不同,Parallel Scavenge收集器的目标则是达到一个可控制的吞吐量 (Throughput),它也被称为吞吐量优先的垃圾收集器
    • 自适应调节策略也是 Parallel Scavenge 与 ParNew 的一个重要区别
  • 高吞吐量则可以高效率地利用 CPU 时间,尽快完成程序的运算任务,Parallel 主要适合在后台运算而不需要太多交互的任务,因此,常见在服务器环境中使用,例如,那些执行批量处理、订单处理、工资支付、科学计算的应用程序
  • Parallel 收集器在 JDK1.6 时提供了用于执行老年代垃圾收集的 Parallel Old收集器,用来代替老年代的 Serial Old 收集器
  • Parallel Old 收集器采用了标记-压缩算法,但同样也是基于并行回收和 Stop-the-world 机制
  • 在程序吞吐量优先的应用场景中,Parallel 收集器和Parallel Old 收集器的组合在Server模式下的内存回收性能很不错
  • 在 Java8中,默认是此垃圾收集器

参数

  • -XX:+UseParallelGC:手动指定年轻代使用 Parallel 并行收集器执行内存回收任务

  • -XX:+UseParallelOldGC:手动指定老年代都是使用并行回收收集器

    • 分别适用于新生代和老年代,默认jdk8是开启的
    • 上面两个参数,默认开启一个,另一个也会被开启
  • -XX:ParallelGCThreads:设置年轻代并行收集器的线程数,一般地,最好与CPU数量相等,以避免过多的线程数影响垃圾收集性能

    • 在默认情况下,当CPU 数量小于8个, ParallelGCThreads 的值等于CPU 数量
    • 当CPU数量大于8个,ParallelGCThreads 的值等于 3+(5*CPU_Count)/8)
  • -XX:MaxGCPauseMillis:设置垃圾收集器最大停顿时间 (即STW的时间),单位是毫秒

    • 为了尽可能地把停顿时间控制在 MaxGCPauseMills 以内,收集器在工作时会调整Java堆大小或者其他一些参数
    • 对于用户来讲,停顿时间越短体验越好,但是在服务器端,我们注重高并发整体的吞吐量,所以服务器端适合Parallel,进行控制
    • 该参数使用需谨慎
  • -XX:GCTimeRatio:垃圾收集时间占总时间的比例(= 1 / (N+1)),用于衡量吞吐量的大小

    • 取值范围(0,100),默认值99,也就是垃圾回收时间不超过 1%

    • 与前一个 -XX:MaxGCPauseMillis 参数有一定矛盾性,暂停时间越长,Radio参数就容易超过设定的比例

  • -XX:+UseAdaptivesizePolicy:设置Parallel Scavenge收集器具有自适应调节策略

    • 在这种模式下,年轻代的大小、Eden 和 Survivor的比例、晋升老年代的对象年龄等参数会被自动调整,已达到在堆大小、吞吐量和停顿时间之间的平衡点
    • 在手动调优比较困难的场合,可以直接使用这种自适应的方式,仅指定虚拟机的最大堆、目标的吞吐量(GCTimeRatio)和停顿时间 (MaxGCPauseMills),让虚拟机自己完成调优工作

CMS GC:低延迟

  • 在 JDK 1.5时期,Hotspot 推出了一款在强交互应用中几乎可认为有划时代意义的垃圾收集器:CMS (Concurrent-Mark-Sweep)收集器,这款收集器是Hotspot虛拟机中第一款真正意义上的并发收集器,它第一次实现了让垃圾收集线程与用户线程同时工作
  • CMS 收集器的关注点是尽可能缩短垃圾收集时用户线程的停顿时间,停顿时间越短(低延迟)就越适合与用户交互的程序,良好的响应速度能提升用户体验
    • 目前很大一部分的Java应用集中在互联网站或者B/S系统的服务端上,这类应用尤其重视服务的响应速度,希望系统停顿时间最短,以给用户带来较好的体验,CMS收集器就非常符合这类应用的需求
  • CMS的垃圾收集算法采用标记-清除算法,并且也会 ”stop-the-world”,不幸的是,CMS 作为老年代的收集器,却无法与 JDK 1.4.0 中己经存在的新生代收集器 Parallel Scavenge 配合工作,所以在 JDK 1.5 中使用 CMS 来收集老年代的时候,新生代只能选择 ParNew或者Serial收集器中的一个
  • 在G1出现之前,CMS使用还是非常广泛的,一直到今天,仍然有很多系统使用CMS GC

收集过程

CMS 整个过程比之前的收集器要复杂,即初始标记、并发标记、重新标记、并发清除

  • 初始标记 (Initial-Mark) 阶段:在这个阶段中,程序中所有的工作线程都将会因为 “Stop-The-World” 机制而出现短暂的暂停,这个阶段的主要任务仅仅只是标记出 GC Roots 能直接关联到的对象,一旦标记完成之后就会恢复之前被暂停的所有应用线程,由于直接关联对象比较小,所以这里的速度非常快
  • 并发标记 (Concurrent-Mark) 阶段:从GC Roots的直接关联对象开始遍历整个对象图的过程,这个过程耗时较长但是不需要停顿用户线程,可以与垃圾收集线程一起并发运行
  • 重新标记 (Remark) 阶段:由于在并发标记阶段中,程序的工作线程会和垃圾收集线程同时运行或者交叉运行,因此为了修正并发标记期间,因用户程序继续运作而导致标记产生变动的那一部分对象的标记记录 (比如:由不可达变为可达对象的数据),这个阶段的停顿时间通常会比初始标记阶段稍长一些,但也远比并发标记阶段的时间短
  • 并发清除 (Concurrent-Sweep) 阶段:此阶段清理删除掉标记阶段判断的己经死亡的对象,释放内存空间,由于不需要移动存活对象,所以这个阶段也是可以与用户线程同时并发的

补充说明

  • 尽管 CMS 收集器采用的是并发回收(非独占式),但是在其初始化标记和再次标记这两个阶段中仍然需要执行 “stop-the-World” 机制暂停程序中的工作线程,不过暂停时间并不会太长,因此可以说明目前所有的垃圾收集器都做不到完全不需要 "Stop-the-World",只是尽可能地缩短暂停时间
  • 由于最耗费时问的并发标记与并发清除阶段都不需要暂停工作,所以整体的回收是低停顿的
  • 另外,由于在垃圾收集阶段用户线程没有中断,所以在CMS回收过程中,还应该确保应用程序用户线程有足够的内存可用,因此,CMS收集器不能像其他收集器那样等到老年代几乎完全被填满了再进行收集,而是当堆内存使用率达到某一阈值时,便开始进行回收,以确保应用程序在CMS工作过程中依然有足够的空间支持应用程序运行,要是CMS运行期间预留的内存无法满足程序需要,就会出现一次 “Concurrent Mode Failure” 失败,这时虛拟机将启动后备预案:临时启用 Serial Old 收集器来重新进行老年代的垃圾收集,这样停顿时间就很长了
  • CMS收集器的垃圾收集算法采用的是标记一清除算法,这意味者每次执行完内存回收后,由于被执行内存回收的无用对象所占用的内存空间极有可能是不连续的一些内存块,不可避免地将会产生一些内存碎片,那么CMS在为新对象分配内存空间时,将无法使用指针碰撞(Bump the Pointer) 技术,而只能够选择空闲列表 (Free List)执行内存分配

有人会觉得既然 Mark Sweep 会造成内存碎片,那么为什么不把算法换成 Mark Compact 呢?

答案其实很简答,因为当并发清除的时候,用 Compact 整理内存的话,原来的用户线程使用的内存还怎么用呢?要保证用户线程能继续执行,前提的它运行的资源不受影响,Mark-Compact 更适合 “Stop The World” 这种场景下使用

优缺点

  • 优点
    • 并发收集
    • 低延迟
  • 缺点
    • 会产生内存碎片,导致并发清除后,用户线程可用的空问不足,在无法分配大对象的情况下,不得不提前触发Full GC
    • CMS收集器对CPU资源非常敏感,在并发阶段,它虽然不会导致用户停顿,但是会因为占用了一部分线程而导致应用程序变慢,总吞吐量会降低
    • CMS收集器无法处理浮动垃圾,可能出现 “Concurrent Mode Failure” 失败而导致另一次 Full GC 的产生,在并发标记阶段由于程序的工作线程和垃圾收集线程是同时运行或者交叉运行的,那么在并发标记阶段如果产生新的垃圾对象,CMS 将无法对这些垃圾对象进行标记,最终会导致这些新产生的垃圾对象没有被及时回收,从而只能在下一次执行 GC 时释放这些之前未被回收的内存空间

参数

  • -XX:+UseConcMarkSweepGC:手动指定使用CMS 收集器执行内存回收任务
    • 开启该参数后会自动将 -XX:+UseParNewGC 打开,即ParNew(Young区用) + CMS(0ld区用) + Serial Old的组合
  • -XX:CMSInitiatingoccupanyFraction:设置堆内存使用率的阈值,一旦达到该阈值,便开始进行回收
    • JDK5及以前版本的默认值68,当老年代的空间使用率达到68%,会执行一次CMS 回收,JDK6及以上版本默认值为92%
    • 如果内存增长缓慢,则可以设置一个稍大的值,大的阈值可以有效降低CMS的触发频率,减少老年代回收的次数可以较为明显地改善应用程序性能,反之,如果应用程序内存使用率增长很快,则应该降低这个阈值,以避免频繁触发老年代串行收集器,因此通过该选项便可以有效降低 Full GC 的执行次数
  • -XX:+UseCMSCompactAtFullCollection:用于指定在执行完 Full GC 后对内存空间进行压缩整理,以此避免内存碎片的产生,不过由于内存压缩整理过程无法并发执行,所带来的问题就是停顿时间变得更长了
  • -XX:CMSFullGCsBeforeCompaction 设置在执行多少次Full GC后对内存空间进行压缩整理

G1 GC:区域化分代式

为什么需要 G1

  • 原因就在于应用程序所应对的业务越来越庞大、复朵,用户越来越多,没有GC就不能保证应用程序正常进行,而经常造成STW的GC又跟不上实际的需求,所以才会不断地尝试对GC进行优化
  • G1 (Garbage-First)垃圾回收器是在Java7 update 4之后引入的一个新的垃圾回收器,是当今收集器技术发展的最前沿成果之一,与此同时,为了适应现在不断扩大的内存和不断增加的处理器数量,进一步降低暂停时间(pause time),同时兼顾良好的吞吐量
  • 官方给G1设定的目标是在延迟可控的情况下获得尽可能高的吞吐量,所以才担当起“全功能收集器”的重任与期望

为什么名字叫做 Garbage First (G1) 呢?

  • 因为 G1 是一个并行回收器,它把堆内存分割为很多不相关的 Region (物理上不连续的),使用不同的 Region 来表示 Eden、Survivor0区,Survivor1区,老年代等
  • G1 GC 有计划地避免在整个Java 堆中进行全区域的垃圾收集,G1 跟踪各个 Region 里面的垃圾堆积的价值大小 (回收所获得的空间大小以及回收所需时间的经验值),后台维护一个优先列表,每次根据允许的收集时间,优先回收价值最大的Region
  • 由于这种方式的侧重点在于回收垃圾最大量的区间 (Region),所以我们给 G1一个名字:垃圾优先 (Garbage First)

概述

  • G1 (Garbage-First)是一款面向服务端应用的垃圾收集器,主要针对配备多核CPU及大容量内存的机器,以极高概率满足GC停顿时间的同时,还兼具高吞吐量的性能特征
  • 在 JDK1.7 版本正式启用,移除了 Experimental 的标识,是JDK9以后的默认垃圾回收器,取代了CMS 回收器以及 Parallel + Parallel Old组合,被 Oracle 官方称为 “全功能的垃圾收集器”
  • 与此同时,CMS己经在JDK 9中被标记为废弃 (deprecated),G1 在jdk8中还不是默认的垃圾回收器,需要使用 -XX:+UseG1GC来启用

特点

与其他 GC 收集器相比,G1使用了全新的分区算法,其特点如下所示

  • 并行与并发
    • 并行性:G1在回收期间,可以有多个GC线程同时工作,有效利用多核计算能力,此时用户线程 STW
    • 并发性:G1拥有与应用程序交替执行的能力,部分工作可以和应用程序同时执行,因此,一般来说,不会在整个回收阶段发生完全阻塞应用程序的情况
  • 分代收集
    • 从分代上看,G1依然属于分代型垃圾回收器,它会区分年轻代和老年代,年轻代依然有 Eden 区 和 Survivor 区,但从堆的结构上看,它不要求整个 Eden区、年轻代或者老年代都是连续的,也不再坚持固定大小和固定数量
    • 将堆空间分为若干个区域(Region),这些区域中包含了逻辑上的年轻代和老年代
    • 和之前的各类回收器不同,它同时兼顾年轻代和老年代,对比其他回收器,或者工作在年轻代,或者工作在老年代
  • 空间整合
    • CMS:“标记-清除”算法、内存碎片、若干次GC后进行一次碎片整理
    • G1将内存划分为一个个的 region,内存的回收是以 region 作为基本单位的
    • Region之间是复制算法,但整体上实际可看作是标记-压缩 (Mark-Compact) 算法,两种算法都可以避免内存碎片,这种特性有利于程序长时间运行,分配大对象时不会因为无法找到连续内存空间而提前触发下一次 GC,尤其是当Java堆非常大的时候,G1的优势更加明显
  • 可预测的停顿时间模型(即:软实时soft real-time)
    • 这是 G1 相对于 CMS 的另一大优势,G1除了追求低停顿外,还能建立可预测的停顿时间模型,能让使用者明确指定在一个长度为 M 毫秒的时间片段内,消耗在垃圾收集上的时间不得超过 N 毫秒
    • 由于分区的原因,G1可以只选取部分区域进行内存回收,这样缩小了回收的范围,因此对于全局停顿情况的发生也能得到较好的控制
    • G1 跟踪各个 Region 里面的垃圾堆积的价值大小(回收所获得的空间大小以及回收所需时间的经验值),在后台维护一个优先列表,每次根据允许的收集时间,优先回收价值最大的Region,保证了 G1 收集器在有限的时间内可以获取尽可能高的收集效率
    • 相比于CMS GC, G1未必能做到CMS在最好情况下的延时停顿,但是最差情况要好很多

参数

  • -XX:+UseG1GC:手动指定使用G1收集器执行内存回收任务
  • -XX:G1HeapRegionSize:设罝每个Region的大小,值是2的幂,范围是1MB到32MB之间,目标是根据最小的Java堆大小划分出约2048个区域,默认是堆内存的1/2000
  • -XX:MaxGCPauseMillis:设置期望达到的最大GC停顿时间指标 (JVM会尽力实现,但不保证达到),默认值是200ms
  • -XX:ParallelGCThread:设置STW时GC线程数的值,最多设置为8
  • -XX:ConcGCThreads:设罝并发标记的线程数,将 n 设置为并行垃圾回收线程数 (ParallelGCThreads) 的1/4左右
  • -XX:InitiatingHeapOccupancyPercent:设置触发并发GC周期的Java堆占用率阈值,超过此值,就触发GC,默认值是45

操作步骤

G1的设计原则就是简化JVN性能调优,开发人员只需要简单的三步即可完成调优

  • 第一步:开启G1垃圾收集器
  • 第二步:设置堆的最大内存
  • 第三步:设罝最大的停顿时间

G1中提供了三种垃圾回收模式:YoungGC、Mixed GC 和 Full GC,在不同的条件下被触发

适用场景

  • 面向服务端应用,针对具有大内存、多处理器的机器
  • 最主要的应用是需要低GC延迟,并具有大堆的应用程序提供解决方案
  • 在堆大小约6GB或更大时,可预测的暂停时间可以低于0.5秒,G1通过每次只清理一部分而不是全部的 Region 的增量式清理来保证每次GC停顿时间不会过长
  • 用来替换掉JDK1.5中的CMS收集器,在下面的情况时,使用G1可能比CMS好
    • 超过 50% 的Java堆被活动数据占用
    • 对象分配频率或年代提升频率变化很大
    • GC停顿时间过长,高于0.5秒至1秒
  • Hotspot 垃圾收集器里,除了G1以外,其他的垃圾收集器使用内置的 JVM 线程执行 GC 的多线程操作,而 G1 GC 可以来用应用线程承担后台运行的 GC 工作,即当 JVM 的GC线程处理速度慢时,系统会调用应用程序线程帮助加速垃圾回收过程

分区 region

使用 G1 收集器时,它将整个Java堆划分成约 2948 个大小相同的独立Region块,每个Region块大小根据堆空间的实际大小而定,整体被控制在1MB到32MB之间,且为2的N次幂,即1MB,2MB,4MB,8MB,16MB,32MB,可以通过 -XX:G1HeapRegionsize 设定,所有的Region大小相同,且在JVM生命周期内不会被改变

虽然还保留有新生代和老年代的概念,但新生代和老年代不再是物理隔离的了,它们都是一部分Region(不需要连续)的集合,通过Region的动态分配方式实现逻辑上的连续

region

  • 一个 region 有可能属于 Eden, Survivor 或者 old/ Tenured 内存区域,但是一个 region 只可能属于一个角色,图中的 E 表示该region属于Eden内存区域,S 表示属于 Survivor 内存区域,O 表示属于 old 内存区域,图中空白的表示未使用的内存空间
  • G1 垃圾收集器还增加了一种新的内存区域,叫做 Humongous 内存区域,如图中的 H 块,主要用于存储大对象,如果超过1.5个region,就放到 H
  • 设置 H 的原因
    对于堆中的大对象,默认直接会被分配到老年代,但是如果它是一个短期存在的大对象,就会对垃圾收集器造成负面影响,为了解决这个问题,G1划分了一个Humongous区,它用来专门存放大对象,如果一个H区装不下一个大对象,那么G1会寻找连续的H区来存储,为了能找到连续的H区,有时候不得不启动 Full GC,G1的大多数行为都把 H 区作为老年代的一部分来看待

回收过程

  1. 年轻代GC
    • 根扫描,跟CMS类似,Stop The World,扫描 GC Roots对象
    • 处理 Dirty card,更新RSet
    • 扫描 RSet,扫描 RSet 中所有old区对扫描到的 Young 区或者 Survivor 区的引用
    • 拷贝扫描出的存活的对象到 Survivor2/old区
    • 处理引用队列,软引用,弱引用,虚引用
  2. 老年代并发标记过程
    • 初始标记阶段:标记从根节点直接可达的对象,这个阶段是STW的,并且会触发一次年轻代GC
    • 根区域扫描 (Root Region Scanning):G1 GC 扫描 Survivor 区直接可达的老年代区域对象,并标记被引用的对象,这一过程必须在Young GC 前完成
    • 并发标记 (concurrent Marking):在整个堆进行并发标记(和应用程序并发执行),此过程可能被 Young GC 中断,在并发标记阶段,若发现区域对象中的所有对象都是垃圾,那这个区域会被立即回收,同时,并发标记过程中,会计算每个区域的对象活性(区域中存活对象的比例)
    • 再次标记(Remark):由于应用程序持续进行,需要修正上一次的标记结果,是STW的,G1中采用了比CMS更快的初始快照算法:Snapshot-At-The-Beginning (SATB)
    • 独占清理 (cleanup,STW):计算各个区域的存活对象和GC回收比例,并进行排序,识别可以混合回收的区域,为下阶段做铺垫,是STW的,这个阶段并不会实际上去做垃圾的收集
    • 并发清理阶段:识别并清理完全空闲的区域
  3. 混合回收
    • 当越来越多的对象晋升到老年代 old region 时,为了避免堆内存被耗尽,虚拟机会触发一个混合的垃圾收集器,即 Mixed GC,该算法并不是一个 old GC,除了回收整个 Young Region,还会回收一部分的 old Region,这里需要注意:是一部分老年代而不是全部老年代,可以选择哪些 Old Region 进行收集,从而可以对垃圾回收的耗时时间进行控制,也要注意的是 Mixed GC 并不是Full GC
    • 并发标记结束以后,老年代中百分百为垃圾的内存region被回收了,部分为垃圾的内存region被计算了出来,默认情况下,这些老年代的内存分段会分8次(可以通过-XX:G1MixedGccountTarget 设置)被回收
    • 混合回收的回收集(Collection set)包括八分之一的老年代内存分段,Eden 区内存分段,Survivor区内存分段,混合回收的算法和年轻代回收的算法完全一样,只是会收集多了老年代的内存分段,具体过程请参考上面的年轻代回收过程
    • 由于老年代中的内存分段默认分8次回收,G1会优先回收垃圾多的内存分段,垃圾占内存分段比例越高的,越会被先回收。并且有一个阈值会决定内存分段是否被回收:-XX:G1MixedGCLiveThresholdPercent,默认为65%,意思是垃圾占内存分段比例要达到65%才会被回收,如果垃圾占比太低,意味着存活的对象占比高,在复制的时候会花费更多的时间
    • 混合回收并不一定要进行8次,有一个阈值 -XX:G1HeapwastePercent,默认值为10%,意思是允许整个堆内存中有10%的空间被浪费,意味着如果发现可以回收的垃圾占堆内存的比例低于10%,则不再进行混合回收,因为GC会花费很多的时间但是回收的内存却很少
  4. Full GC
    • G1的初衷就是要避免 Full GC的出现,但是如果上述方式不能正常工作,G1会停止应用程序的执行 (Stop-The-World),使用单线程的内存回收算法进行垃圾回收,性能会非常差,应用程序停顿时间会很长
    • 要避免Full GC的发生,一旦发生需要进行调整,什么时候会发生Full GC呢?比如堆内存太小,当G1在复制存活对象的时候没有空的内存分段可用,则会回退到 Full GC,这种情况可以通过增大内存解决
    • 导致 G1Full GC的原因可能有两个
      • Evacuation(回收阶段)的时候没有足够的 to-space 来存放晋升的对象
      • 并发处理过程完成之前空间耗尽

优化建议

  • 年轻代大小

    • 避免使用 -Xmn 或 -XX:NewRatio 等相关选项显式设置年轻代大小
    • 固定年轻代的大小会覆盖暂停时间目标
  • 暂停时间目标不要太过严苛

    • G1 GC 的吞吐量目标是90%的应用程序时间和10%的垃圾回收时间
    • 评估 G1 GC 的吞吐量时,暂停时间目标不要太严苛,目标太过严苛表示你愿意承受更多的垃圾回收开销,而这些会直接影响到吞吐量
  • 从Oracle官方透露出来的信息可获知,回收阶段 (Evacuation)其实本也有想过设计成与用户程序一起并发执行,但这件事情做起来比较复杂,考虑到G1只是回收一部分Region,停顿时间是用户可控制的,所以并不迫切去实现,而选择把这个特性放到了
    G1之后出现的低延迟垃圾收集器即 ZGC 中,另外,还考虑到G1不是仅仅面向低延迟,停顿用户线程能够最大幅度提高垃圾收集效率,为了保证吞吐量所以才选择了完全暂停用户线程的实现方案

各GC使用场景

截止JDK 1.8,一共有7款不同的垃圾收集器,每一款不同的垃圾收集器都有不同的特点,在具体使用的时候,需要根据具体的情况选用不同的垃圾收集器

垃圾收集器分类作用位置使用算法特点适用场景
Serial串行运行新生代复制算法响应速度优先适用于单CPU环境下的client模式
ParNew并行运行新生代复制算法响应速度优先多CPU环境Server模式下与CMS配合使用
Parallel并行运行新生代复制算法吞吐优先适用于后台运算而不需要太多交互的场景
Serial Old串行运行老年代标记-压缩算法响应速度优先适用于单CPU环境下的Client模式
Parallel Old并行运行老年代标记-压缩算法吞吐优先适用于后台运算而不需要太多交互的场景
CMS并发运行老年代标记-清除算法响应速度优先适用于互联网或B/S业务
G1并发、并行新生代、老年代标记-压缩,复制响应速度优先面向服务端应用

如何选择

Java 垃圾收集器的配置对于 JVM 优化来说是一个很重要的选择,选择合适的垃圾收集器可以让JVM的性能有一个很大的提升

  • 优先调整堆的大小让 JVM 自适应完成

  • 如果内存小于190M,使用串行收集器

  • 如果是单核、单机程序,并且没有停顿时间的要求,串行收集器

  • 如果是多CPU、需要高吞吐量、允许停顿时问超过1秒,选择并行收集器

  • 如果是多CPU、追求低停顿时间,需快速响应 (比如延迟不能超过1秒,如互联网应用),使用并发收集器

  • 官方推荐 G1,性能高,现在互联网的项目,基本都是使用 G1

  • 最后需要明确两个观点

    • 没有最好的收集器,更没有万能的收集

    • 调优永远是针对特定场景、特定需求,不存在一劳永逸的收集器

GC新发展

Epsilon GC

Shenandoah GC

ZGC

  • ZGC 与 Shenandoah目标高度相似,在尽可能对吞吐量影响不大的前提下,实现在任意堆内存大小下都可以把垃圾收集的停顿时问限制在十毫秒以内的低延迟
  • ZGC 是一款基于Region内存布局的,暂时不设分代的,使用了读屏障、染色指针和内存多重映射等技术来实现可并发的标记-压缩算法的,以低延迟为首要目标的一款垃圾收集器
  • ZGC 的工作过程可以分为4个阶段:并发标记、并发预备重分配、并发重分配、并发重映射等
  • ZGC 几乎在所有地方并发执行的,除了初始标记的是STW的,所以停顿时间几乎就耗费在初始标记上,这部分的实际时间是非常少的

分析GC日志

日志参数

  • -verbose:gc 输出GC日志信息,默认输出到标准输出
  • -XX:+PrintGC 输出GC日志,类似:-verbose:gc
  • -XX:+PrintGCDetails 在发生垃圾回收时打印内存回收详细的日志,并在进程退出时输出当前内存各区域分配情况
  • -XX:+PrintGCTimeStamps 输出GC发生时的时间戳
  • -XX:+PrintGCDateStamps 输出GC发生时的时间戳(以日期的形式,如2013-05-04T21:53:59.234+0800)
  • -XX:+PrintHeapAtGC 每一次GC前和GC后,都打印堆信息
  • -Xlogge:<file> 表示把GC日志写入到一个文件中去,而不是打印到标准输出中

日志格式

日志分类

日志结构刨析

Minor GC分析

Full GC 分析

分析工具


Comment