PAYATHON 2026

是否存在能在 fork 后减少写时复制的 malloc 实现?

数据阿明

结论

通常,仅更换 malloc 无法解决 Python 在 fork 后共享输入页被大量复制的问题。Linux 没有统一的“fork-aware malloc”开关,能让进程在继续修改页面时保持这些页面共享。

调整元数据和分配策略可以减少分配器造成的部分写入。但 Python 自身的引用计数、垃圾回收,以及与输入数据同页的其他对象,也可能触发 CoW。现有信息不足以确定 malloc/free 是否是主要原因,需要先区分写入来源。

为什么只读输入仍然会触发 CoW?

fork 后,父子进程起初共享已有的物理内存页。当某个进程写入共享的私有页面时,内核才为它建立独立副本。复制以页为单位,不区分 Python 对象或 malloc 内存块的边界。

所以,即使业务代码没有修改输入内容,保存输入的页面也可能被写入。

malloc/free 可能修改共享页面

malloc/free 可能引起页面写入,但要区分具体操作:

  • malloc 可能更新空闲链表、内存块头部等管理信息,这些信息可能位于继承的页面中。
  • free 可能修改内存块及其周围的管理信息,也可能触发页面复制。
  • realloc 是否修改原页面、分配新区域或搬移数据,取决于具体实现和分配状态。

malloc 返回一个地址,本身不一定会使该地址所在页面发生 CoW。要看分配器或调用方是否实际写入了共享页面。

CPython 读取对象也可能伴随写入

在采用常规引用计数机制的 CPython 中,访问和传递对象时可能改变引用计数。引用计数通常存放在对象头部,因此业务层面的读取也可能导致内存写入。具体影响取决于 Python 实现、构建方式和对象类型。

例如,遍历含有大量独立 Python 对象的 list 或 dict 时,即使不修改其中的值,也可能改变分布在许多页面上的对象头部。

循环垃圾回收也可能更新对象的管理信息。输入对象还可能与临时对象共用页面,临时对象发生变化时,同样会破坏该页的共享状态。

“支持 fork”的分配器能解决多少问题?

分配器支持 fork,通常首先指它能正确处理 fork 前后的锁和内部状态。这不等同于尽量保留共享页面。

将管理信息与数据分开放置,或避免复用继承堆中的空闲空间,可能减少分配器造成的 CoW,但无法阻止解释器修改对象头部。

还需要区分两层分配器。部分 CPython 对象由 pymalloc 等机制分配,底层再向系统申请内存。替换 C 库的 malloc,不等于替换了全部 Python 对象分配路径。

现有信息不足以断言某个替代分配器一定有效,支持 fork 也不能保证减少 CoW。

如何定位真正的复制来源?

可以把 worker 的工作拆成几个阶段,分别观察内存变化:

  1. fork 后保持空闲,记录初始状态。
  2. 只遍历输入,暂时不生成业务输出。
  3. 加入计算、临时对象和输出分配。
  4. 单独比较垃圾回收开启与关闭时的表现。

在 Linux 上,可以查看进程的内存映射统计:

cat /proc/<pid>/smaps

如果系统提供汇总接口,也可以查看:

cat /proc/<pid>/smaps_rollup

重点关注 Pss、Private_Dirty 等指标及其变化。RSS 会在每个进程中计入共享页面,不能直接相加作为实际物理内存占用。

这些指标有助于判断内存共享情况。不过,Private_Dirty 的增加既可能来自 CoW,也可能来自新分配的私有内存。需要结合分阶段实验和具体映射分析,不能将增加的部分全部算作输入被复制。

可以尝试哪些改进?

减少垃圾回收造成的写入

如果使用的 CPython 提供 gc.freeze(),可以在父进程加载输入之后、fork 之前冻结已跟踪对象,减少子进程后续循环垃圾回收访问这些对象时产生的写入。

下面展示调用顺序,其中 load_input() 和 process_input() 需要替换为业务实现:

import gc
import os

# 尽早禁用父进程的自动循环垃圾回收。
gc.disable()

input_data = load_input()

# 在 fork 前冻结当前被垃圾回收器跟踪的对象。
gc.freeze()

pid = os.fork()

if pid == 0:
    gc.enable()
    try:
        process_input(input_data)
    finally:
        os._exit(0)
else:
    os.waitpid(pid, 0)

这种做法只能减少循环垃圾回收带来的影响,不能阻止引用计数更新,也不能消除 malloc/free 或业务代码产生的写入。示例中的 os._exit() 不会执行通常的解释器退出清理,实际程序应先完成必要的输出刷新和资源处理。

将大块输入放到独立的数据缓冲区

如果输入主要是数字、固定格式记录或原始字节,可以考虑使用连续缓冲区或文件映射,减少大量独立 Python 对象带来的对象头部写入。

例如,使用只读 mmap 保存输入:

import mmap

# 示例假设 input.bin 非空。
with open("input.bin", "rb") as source:
    with mmap.mmap(
        source.fileno(),
        length=0,
        access=mmap.ACCESS_READ,
    ) as mapped:
        view = memoryview(mapped)
        try:
            # 在此建立 worker,并在退出此作用域前等待其完成。
            # 解析时尽量使用视图,避免复制整个输入。
            pass
        finally:
            view.release()

只读映射有助于将大块数据与可变的 Python 管理信息分开。Python 包装对象本身仍可能变化,但不必因此复制整个映射的数据区。

需要注意,mmap 切片或把数据解码成大量 Python 对象可能产生新副本;使用 memoryview 或其他零复制方式时,也需要正确管理生命周期。如果改用共享内存,还需自行约束各进程的写入行为。

最后再评估分配器调整

如果实验确认主要写入来自分配器,再比较不同分配器或配置的效果。比较时应保持输入、worker 数量、处理步骤和观察时点一致,同时记录整体 PSS、私有脏页和运行时间。

如果主要损耗来自遍历 Python 对象时的引用计数更新,调整数据表示通常比单纯替换 malloc 更直接。若 worker 本身产生了大量输出,还需要单独核算这部分不可避免的私有内存。

备注:内容仅供参考。