PAYATHON 2026

同一 AVX2 可执行文件为何出现双峰运行时间?

排障赵师傅

结论

双峰现象很可能与自动存储期数组的初始化方式有关,栈地址对齐又进一步造成了微架构层面的性能差异。

非 static 的 constexpr 局部数组仍是栈对象。每次调用 inFixedTable(),语义上都要创建并初始化这 192 字节的数据。经过优化,编译器可能用数条 256-bit AVX 指令将常量从只读区复制到栈上,随后立即逐项搜索这份栈上数据。

每次启动进程时,栈基址和数组相对于 32 字节边界的位置都可能变化。在某些对齐状态下,跨边界访问、额外的 load/store 微操作或 store-to-load forwarding 失败会造成明显停顿,最终表现为两个稳定的性能区间。

将数组改为 static 后,它会获得静态存储期,不再随每次调用复制到栈上。搜索代码可以直接读取只读数据,同时避开反复初始化、栈对齐变化和相关的存储转发问题。

但仅凭运行时间无法判断具体触发了哪一种 CPU 事件。还需要结合该编译器生成的汇编和硬件性能计数器才能确定原因。

为什么一次运行始终快或始终慢

Windows 在创建进程时确定栈的位置。该位置在进程的生命周期内基本不变,inFixedTable() 每次调用时的栈帧布局也相同,因此 list 地址的低位通常保持不变。

如果进程启动后,数组恰好位于有利的对齐位置,这次运行就会一直较快;处于不利位置时,则会一直较慢。重新启动进程可能改变栈地址,使程序进入另一个性能区间。

这里的“256 bit”指对象首地址相对于 32 字节,也就是 256 bit 边界的余数:

reinterpret_cast<std::uintptr_t>(list) % 32

地址本身仍是普通指针。还应检查对象相对于 64 字节 cache line 和 4096 字节页面的位置。

非 static 的 constexpr 为什么仍可能产生复制

constexpr 表示数组可以在编译期求值,并不会赋予它静态存储期:

bool inFixedTable(uint64_t value) {
    constexpr uint64_t list[24] = { /* ... */ };
    return linsearch(list, list + 24, value);
}

这里的 list 是自动存储期对象。编译器可能将它完全优化掉,也可能把常量放入 .rdata,然后在每次调用时复制到栈上。启用 -mavx2 和循环展开后,可能生成类似下面的指令序列:

vmovdqu  source, %ymm0
vmovdqu  %ymm0, stack_destination

搜索代码随后又会从 stack_destination 读取各个 uint64_t。

这种先用宽向量写入、紧接着用较窄标量读取的方式依赖 CPU 的 store-to-load forwarding。能否走快速转发路径,取决于具体处理器、写入和读取宽度、地址对齐,以及访问是否跨越内部边界。一旦转发失败,load 就要等待 store 更完整地提交。循环中的每次搜索都可能承受这段延迟。

未对齐的 32 字节访问还可能被拆成多个微操作。如果访问跨越 64 字节 cache line,代价会更高。数组只有 24 个元素,正常搜索所需时间很短,因此额外十几个周期就足以造成很大的相对差异。

为什么 static 版本只出现快速结果

改为静态存储期后:

alignas(32) static constexpr uint64_t list[24] = {
    /* ... */
};

数组通常会直接保存在可执行文件的只读数据区。每次调用都读取同一个对象,无须先将 192 字节常量写入栈中。

这项修改会产生以下变化:

  • 不再为每次调用初始化和复制数组;
  • 消除了刚写入栈便立即读取的数据依赖;
  • 数组的对齐由编译器和链接器安排,不再随进程栈地址变化;
  • 编译器可能改用另一套搜索代码。

因此,static 版本变快并不能单独证明根因就是 32 字节对齐。它同时消除了整个栈上临时副本。

为什么 -mno-avx2 得到中间值

禁用 AVX2 会改变数组复制、比较和循环展开的代码形态。编译器可能改用 128-bit SSE 指令或标量指令:

movdqu  source, %xmm0
movdqu  %xmm0, stack_destination

较窄的访问不太容易跨越内部边界或 cache line,相应的惩罚通常也不同。不过,复制相同数量的数据需要执行更多指令。因此,SSE 或标量版本的结果落在两个 AVX2 区间之间是合理的。

这个结果只能说明 AVX2 代码生成参与了问题,无法据此认定根因一定是 32 字节对齐。-funroll-loops 同样会明显改变代码布局,测试时应分别开关该选项并比较汇编。

推荐修改

固定表不适合在热循环中反复构造。最直接的处理方法是让它具有静态存储期:

#include <algorithm>
#include <cstdint>
#include <iterator>

bool inFixedTable(std::uint64_t value) {
    alignas(32) static constexpr std::uint64_t list[24] = {
        2184321191ull, 34462666982ull, 71941954693ull, 104220300484ull,
        143016330307ull, 179455429634ull, 210693587041ull, 247132686368ull,
        293816839639ull, 330359646614ull, 361528665589ull, 398071472564ull,
        436487241011ull, 468731017586ull, 506348582161ull, 538592358736ull,
        562999645807ull, 598363987534ull, 633901175341ull, 669265517068ull,
        696239213291ull, 731741831882ull, 767071604393ull, 802574222984ull
    };

    return std::find(std::begin(list), std::end(list), value) != std::end(list);
}

也可以将表放在命名空间作用域:

namespace {
alignas(32) constexpr std::uint64_t kList[24] = {
    // ...
};
}

alignas(32) 明确规定了数组首地址的最低对齐要求,通常适合静态只读表。当前代码是否确实需要 32 字节对齐,还要看编译器最终生成的是标量读取、未对齐向量读取,还是对齐向量读取。

如何确认根因

应先检查最终可执行文件的汇编:

objdump -drwC staticProblem.exe

重点查看:

  1. inFixedTable() 是否被内联到 main();
  2. 每次循环是否有多条 vmovdqu、vmovdqa 或 vmovdqu64 写入栈;
  3. 搜索代码是否从同一片栈内存执行标量 load;
  4. static 版本是否直接访问 .rdata;
  5. AVX2 和非 AVX2 版本在复制宽度及循环展开方式上有何差异。

还可以临时记录地址低位,但不要在计时循环中打印:

#include <cinttypes>
#include <cstdint>
#include <cstdio>

std::uintptr_t address = reinterpret_cast<std::uintptr_t>(list);

std::printf(
    "list=%p, mod32=%" PRIuPTR ", mod64=%" PRIuPTR "\n",
    static_cast<void const*>(list),
    address % 32,
    address % 64
);

如果快、慢两组运行分别对应不同的 mod32 或 mod64,就能直接支持对齐假设。如果地址余数相同,则要继续检查 4 KiB 地址别名、cache set 冲突、生成代码和 CPU 频率等因素。

基准测试还需注意

直接用“搜索循环耗时”减去“空循环耗时”,未必能准确分离搜索开销。加入搜索后,编译器的寄存器分配、循环展开和指令调度都会改变,两段循环的耗时并不是简单的相加关系。

还要注意以下问题:

  • found = found || inFixedTable(accum) 存在短路求值。一旦找到匹配值,后续迭代便不会再调用搜索函数。
  • -ffast-math 对这里的整数搜索没有直接帮助。
  • -mfma 与整数比较无关。
  • 在 64 位 x86 目标上,通常无须显式指定 -msse -msse2。
  • -funroll-loops 可能放大代码尺寸和微架构差异,排查时应测试不带该选项的版本。
  • 比较单次搜索成本时,应使用可靠的 benchmark 框架或检查生成的汇编,并确保结果能被外部观察到。

工程上,固定只读查找表适合使用静态存储期。这样可以稳定对齐,并避免在最热路径中反复复制整张表。

备注:内容仅供参考。