是否存在能在 fork 后减少写时复制的 malloc 实现?
结论
通常,仅更换 malloc 无法解决 Python 在 fork 后共享输入页被大量复制的问题。Linux 没有统一的“fork-aware malloc”开关,能让进程在继续修改页面时保持这些页面共享。
调整元数据和分配策略可以减少分配器造成的部分写入。但 Python 自身的引用计数、垃圾回收,以及与输入数据同页的其他对象,也可能触发 CoW。现有信息不足以确定 malloc/free 是否是主要原因,需要先区分写入来源。
为什么只读输入仍然会触发 CoW?
fork 后,父子进程起初共享已有的物理内存页。当某个进程写入共享的私有页面时,内核才为它建立独立副本。复制以页为单位,不区分 Python 对象或 malloc 内存块的边界。
所以,即使业务代码没有修改输入内容,保存输入的页面也可能被写入。
malloc/free 可能修改共享页面
malloc/free 可能引起页面写入,但要区分具体操作:
- malloc 可能更新空闲链表、内存块头部等管理信息,这些信息可能位于继承的页面中。
- free 可能修改内存块及其周围的管理信息,也可能触发页面复制。
- realloc 是否修改原页面、分配新区域或搬移数据,取决于具体实现和分配状态。
malloc 返回一个地址,本身不一定会使该地址所在页面发生 CoW。要看分配器或调用方是否实际写入了共享页面。
CPython 读取对象也可能伴随写入
在采用常规引用计数机制的 CPython 中,访问和传递对象时可能改变引用计数。引用计数通常存放在对象头部,因此业务层面的读取也可能导致内存写入。具体影响取决于 Python 实现、构建方式和对象类型。
例如,遍历含有大量独立 Python 对象的 list 或 dict 时,即使不修改其中的值,也可能改变分布在许多页面上的对象头部。
循环垃圾回收也可能更新对象的管理信息。输入对象还可能与临时对象共用页面,临时对象发生变化时,同样会破坏该页的共享状态。
“支持 fork”的分配器能解决多少问题?
分配器支持 fork,通常首先指它能正确处理 fork 前后的锁和内部状态。这不等同于尽量保留共享页面。
将管理信息与数据分开放置,或避免复用继承堆中的空闲空间,可能减少分配器造成的 CoW,但无法阻止解释器修改对象头部。
还需要区分两层分配器。部分 CPython 对象由 pymalloc 等机制分配,底层再向系统申请内存。替换 C 库的 malloc,不等于替换了全部 Python 对象分配路径。
现有信息不足以断言某个替代分配器一定有效,支持 fork 也不能保证减少 CoW。
如何定位真正的复制来源?
可以把 worker 的工作拆成几个阶段,分别观察内存变化:
- fork 后保持空闲,记录初始状态。
- 只遍历输入,暂时不生成业务输出。
- 加入计算、临时对象和输出分配。
- 单独比较垃圾回收开启与关闭时的表现。
在 Linux 上,可以查看进程的内存映射统计:
cat /proc/<pid>/smaps
如果系统提供汇总接口,也可以查看:
cat /proc/<pid>/smaps_rollup
重点关注 Pss、Private_Dirty 等指标及其变化。RSS 会在每个进程中计入共享页面,不能直接相加作为实际物理内存占用。
这些指标有助于判断内存共享情况。不过,Private_Dirty 的增加既可能来自 CoW,也可能来自新分配的私有内存。需要结合分阶段实验和具体映射分析,不能将增加的部分全部算作输入被复制。
可以尝试哪些改进?
减少垃圾回收造成的写入
如果使用的 CPython 提供 gc.freeze(),可以在父进程加载输入之后、fork 之前冻结已跟踪对象,减少子进程后续循环垃圾回收访问这些对象时产生的写入。
下面展示调用顺序,其中 load_input() 和 process_input() 需要替换为业务实现:
import gc
import os
# 尽早禁用父进程的自动循环垃圾回收。
gc.disable()
input_data = load_input()
# 在 fork 前冻结当前被垃圾回收器跟踪的对象。
gc.freeze()
pid = os.fork()
if pid == 0:
gc.enable()
try:
process_input(input_data)
finally:
os._exit(0)
else:
os.waitpid(pid, 0)
这种做法只能减少循环垃圾回收带来的影响,不能阻止引用计数更新,也不能消除 malloc/free 或业务代码产生的写入。示例中的 os._exit() 不会执行通常的解释器退出清理,实际程序应先完成必要的输出刷新和资源处理。
将大块输入放到独立的数据缓冲区
如果输入主要是数字、固定格式记录或原始字节,可以考虑使用连续缓冲区或文件映射,减少大量独立 Python 对象带来的对象头部写入。
例如,使用只读 mmap 保存输入:
import mmap
# 示例假设 input.bin 非空。
with open("input.bin", "rb") as source:
with mmap.mmap(
source.fileno(),
length=0,
access=mmap.ACCESS_READ,
) as mapped:
view = memoryview(mapped)
try:
# 在此建立 worker,并在退出此作用域前等待其完成。
# 解析时尽量使用视图,避免复制整个输入。
pass
finally:
view.release()
只读映射有助于将大块数据与可变的 Python 管理信息分开。Python 包装对象本身仍可能变化,但不必因此复制整个映射的数据区。
需要注意,mmap 切片或把数据解码成大量 Python 对象可能产生新副本;使用 memoryview 或其他零复制方式时,也需要正确管理生命周期。如果改用共享内存,还需自行约束各进程的写入行为。
最后再评估分配器调整
如果实验确认主要写入来自分配器,再比较不同分配器或配置的效果。比较时应保持输入、worker 数量、处理步骤和观察时点一致,同时记录整体 PSS、私有脏页和运行时间。
如果主要损耗来自遍历 Python 对象时的引用计数更新,调整数据表示通常比单纯替换 malloc 更直接。若 worker 本身产生了大量输出,还需要单独核算这部分不可避免的私有内存。
备注:内容仅供参考。
