PAYATHON 2026

JVM 无法分配 native heap(如 malloc() 失败)时会发生什么?

排障赵师傅

结论

JVM 内部的 native 内存分配失败,可能导致虚拟机直接终止,也可能由调用方处理后抛出 OutOfMemoryError。具体结果取决于 JVM 实现、分配位置,以及该操作在失败后是否有相应的处理路径。

HotSpot 的某些内部内存分配采用“失败即终止”策略。分配失败时,JVM 会进入致命错误处理流程,尝试输出诊断信息,然后终止进程。这个过程不执行正常的 Java 关闭流程,shutdown hooks、finally 和其他 Java 清理代码都没有执行保证。

为什么同样是分配失败,结果会不同?

malloc() 返回空指针,只表示这次分配失败。后续如何处理,由调用它的代码决定。

JVM 内部有些操作可以取消,并把失败报告给 Java 调用方;有些操作所需的内存则是虚拟机继续运行的必要条件。在某些内部执行阶段,代码无法安全地退出当前操作,也没有合适的 Java 调用点来接收异常。

HotSpot 提供了不同的分配失败策略。在 OpenJDK 主线源码中,AllocateHeap() 默认采用 AllocFailStrategy::EXIT_OOM;调用方也可以选择 AllocFailStrategy::RETURN_NULL,自行检查返回值。HotSpot 分配接口声明

省略函数声明等上下文后,核心判断可简化为:

char* p = (char*)os::malloc(size, mem_tag, stack);

if (p == nullptr && alloc_failmode == AllocFailStrategy::EXIT_OOM) {
    vm_exit_out_of_memory(size, OOM_MALLOC_ERROR, "AllocateHeap");
}

return p;

采用 EXIT_OOM 时,分配失败会进入致命错误路径;采用 RETURN_NULL 时,空指针会返回给调用方。不过,返回空指针并不保证能够恢复,调用方仍可能决定终止虚拟机。HotSpot 分配实现

native 内存不足也可以表现为 Java 异常。例如,HotSpot 用 native 内存存放类元数据。Metaspace 分配失败时,一些路径会尝试回收和重试,最终向 Java 层报告 OutOfMemoryError: Metaspace。因此,仅凭内存位于 Java Heap 之外,无法判断进程是否会退出。Metaspace 实现

进入致命错误路径后,shutdown hooks 会运行吗?

HotSpot 的这类 native OOM 会进入 VMError::report_and_die()。错误处理代码会尝试生成诊断报告,最后通过底层终止机制结束进程。这与调用 Java 的 System.exit() 是不同的路径,函数名中的 exit 不能说明它会执行 Java 关闭流程。错误报告入口、致命错误处理实现

两种情况的处理方式不同:

  • Java 层抛出 OutOfMemoryError 时,适用 Java 异常传播规则,可以匹配 catch,也可以在栈展开时执行 finally。
  • 虚拟机因致命错误终止时,没有上述异常传播和正常栈展开过程,Java 清理代码没有执行保证。

Runtime.addShutdownHook() 的 API 文档明确说明,如果虚拟机异常终止,不能保证任何 shutdown hook 会运行。Java SE 17 的 shutdown hook 文档

单纯抛出 OutOfMemoryError 也不会自动启动关闭流程。即使异常未被捕获,通常也是先终止发生异常的线程。只有当非守护线程数量降为零等关闭条件成立时,才会启动 shutdown hooks。JVMS §2.10、Runtime 关闭流程

规范是否规定了这种行为?

规范规定了资源耗尽时的一些行为,但没有为每个内部 malloc() 调用规定统一的失败处理流程。

例如,JVMS §2.5.3 和 §2.5.4 分别规定,无法满足对象堆或方法区的分配请求时,JVM 抛出 OutOfMemoryError。这些要求针对抽象的运行时数据区,并不直接描述实现中的每一次 native 分配。JVMS §2.5

JVMS §6.3 还规定,当内部错误或资源限制使 JVM 无法实现指令语义时,会抛出 VirtualMachineError 的子类。规范同时说明,它无法预测这些问题发生的位置,也不精确规定报告时机。JVMS §6.3

这些条文并未保证:无论底层资源处于什么状态,JVM 都能把内部失败转换成可捕获的异常,并完成优雅关闭。

Java 层的异常语义受到规范约束,具体内部 native 分配的失败策略则需要查看实现。不宜笼统地将整个问题归为正式意义上的 unspecified 或 implementation-defined,也不应套用 C/C++ 的 undefined behavior 概念。一次经过检查的分配失败,可以有明确的实现处理路径。

实际发生时,怎样判断走了哪条路径?

先识别失败类型,再考虑是否需要调整内存参数。

  1. 检查进程输出,区分 Java 异常栈与 HotSpot 致命错误报告。仅凭日志中出现“out of memory”无法判断。
  2. 查找致命错误日志。若生成了 hs_err_pid*.log,检查失败的分配类型、申请大小及 native 调用栈。严重资源不足时,报告也可能不完整。
  3. 对照实际使用的 JDK 源码,确认失败位置采用的分配策略,以及调用方是否会重试、抛出异常或终止虚拟机。主线源码只能说明对应代码的行为,仍需检查目标版本。

HotSpot 的 native 分配致命错误报告可能包含类似内容:

# Native memory allocation (malloc) failed to allocate <bytes> bytes.

其中,<bytes> 是示意占位符。这条信息描述的是虚拟机级别的分配失败,不能据此认为 Java 中的 catch (OutOfMemoryError e) 一定能接收到它。HotSpot 错误报告格式

new Object() 通常使用 JVM 已管理的 Java Heap 空间,并不意味着每次都调用 malloc() 或向 OS 申请内存。native 分配也可能通过其他接口完成。判断失败后果时,应追踪实际分配路径及其错误处理代码,不能仅根据它是否位于 Java Heap 之外下结论。

备注:内容仅供参考。