PAYATHON 2026

解决 std::regex 匹配大字符串时的 SIGSEGV

数据小陈

结论

这个 SIGSEGV 更可能来自 libstdc++ 的 std::regex 在深度回溯/递归时把栈耗尽。普通字符串长度本身解释不了它。模式里的 ([\s\S]+) 会把标题行后面的 64KB 内容当成一个无界贪婪子表达式继续匹配,递归回溯实现很容易因此消耗大量栈。不要用原模式在大字符串上构造 std::sregex_iterator;把正则的职责收窄,只匹配标题行,后续正文另取。

原因

libstdc++ 的 std::regex 采用递归回溯实现。(^|\n)?(\*+)(\s+)([^\n]+)(\n([\s\S]+))? 中的 ([\s\S]+) 能匹配包括换行在内的任意字符;test.resize(64 * 1024) 补上大量 NUL 字符后,它会尝试一次吞掉一大段内容。sregex_iterator 在构造时就会执行第一次匹配,所以看起来像崩在迭代器构造函数里,实际是匹配过程中栈溢出。换成 (.+) 后,因为 . 默认不匹配换行,匹配范围小了很多,于是不再触发;但两者并不等价。

解决步骤

  1. 让正则只匹配标题行,别把后面的正文塞进同一个无界捕获。
  2. 如果还要标题后面的内容,可以用 std::smatch 或迭代器拿到标题结束位置,再用 std::string::substr 取剩余部分。
  3. 如果确实必须整段匹配,就换非递归正则引擎(比如 RE2)或手写解析;光调整 std::regex 的标志通常不能保证消除栈溢出。
  4. 临时验证时可以调高栈限制,比如 Linux 下执行 ulimit -s unlimited,但这只是诊断手段,不是可移植的修复。

代码示例

下面的示例把正则收在标题行内,避免 [\s\S]+ 把大字符串一口吞掉。如果原本只想表示行内空白,用 [ \t]+;如果确实要允许跨行空白,规则需要另外写清楚。

#include <regex>
#include <string>
#include <format>
#include <iostream>

int main() {
    std::string test = "* Headline\nText\n";
    test.resize(64 * 1024);

    // 只匹配标题行,不把剩余正文放进无界贪婪子表达式
    static const std::regex heading_re(R"((?:^|\n)(\*+)[ \t]+([^\n]*))");

    std::size_t matchCount = 0;
    for (std::sregex_iterator it(test.begin(), test.end(), heading_re), end;
         it != end; ++it) {
        ++matchCount;
        std::cout << std::format("sub match count: {}\n", it->size());
    }
    std::cout << std::format("match count: {}\n", matchCount);
}

如果还需要标题行之后的正文,可以只对标题做 regex_search,再手动从 m.suffix().first 取到 test.end():

std::smatch m;
std::string test = "* Headline\nText\n";
test.resize(64 * 1024);

static const std::regex heading_re(R"((?:^|\n)(\*+)[ \t]+([^\n]*))");
if (std::regex_search(test, m, heading_re)) {
    std::string rest(m.suffix().first, test.end()); // 标题行之后的剩余内容
    // 按需要处理 rest
}

注意事项

  • 不同标准库实现下 std::regex 的性能差别很大;GCC 16 没复现,不代表原模式就安全。
  • 在 ECMAScript 语法里,\s 通常包含换行,所以 \s+ 可能跨过标题行;只想匹配行内空白时,优先用 [ \t]+。
  • 不要把 std::regex 当成解析大段 Markdown 的主力;标题、列表这类结构,手写逐行扫描更稳。
  • 如果以后还要对 64KB 以上的文本做复杂匹配,最好先限制输入长度,或者换用专门的解析器/正则引擎。

备注:内容仅供参考。