PAYATHON 2026

Regex 替换中组引用与 Unicode 转义冲突

数据小陈

结论

分组引用本身没有问题,问题出在两个转义阶段混在一起:普通字符串字面量会先解析 \u07EC,而 \g 在这里会被当成非法转义;随后 re.sub 的替换字符串解析器再处理 \g<1>。分组引用应使用 raw 字符串 r'\g<1>';U+07EC 则用实际字符 '\u07EC' 或 chr(0x07EC) 拼进去。也可以把替换函数写成 lambda,完全绕开替换字符串的转义规则。

原因

  1. 普通字符串 '\g<1>\u07EC' 里的 \g 不是合法的 Python 转义,所以会触发 SyntaxWarning: invalid escape sequence '\g'。另外,\u07EC 会先被 Python 解析成实际的 Unicode 字符。
  2. raw 字符串 r'\g<1>\u07EC' 虽然不会让 Python 解析 \u07EC,但 re.sub 的替换字符串解析器只认分组引用、反斜杠转义这类写法,不认识 \uXXXX,因此报 re.error: bad escape \u at position 5。
  3. 如果写成 \\u,替换解析器会把 \\ 当成一个字面反斜杠,后面的 u07EC 只是普通文本。结果输出的是字面量 \u07EC,而不是 U+07EC 字符。
  4. 正则模式里的 \u07F2、\u0300 由 re 的模式解析器处理,和替换字符串的规则不同。

解决步骤

  1. 正则 pattern 继续用 raw 字符串即可,例如 r'([ߊߍߋߌߐߏߎ][\u07F2]*)\u0300'。
  2. 替换字符串里,\g<1> 用 raw 字符串保留;U+07EC 不要写成 raw 字符串里的 \u07EC,要用普通字符串的实际字符或 chr(0x07EC) 拼接。
  3. 调用 re.sub 时,建议把 count 和 flags 写成关键字参数,可读性更好。
  4. 如果不想处理替换字符串转义,可以让 lambda 返回 m.group(1) + '\u07EC'。

代码示例

拼接写法:

import re

pattern = r'([ߊߍߋߌߐߏߎ][\u07F2]*)\u0300'
repl = r'\g<1>' + '\u07EC'

text = re.sub(
    pattern,
    repl,
    text,
    count=0,
    flags=re.UNICODE | re.MULTILINE,
)

用 chr 的写法:

repl = r'\g<1>' + chr(0x07EC)

用 lambda 的写法:

pattern = r'([ߊߍߋߌߐߏߎ][\u07F2]*)\u0300'

text = re.sub(
    pattern,
    lambda m: m.group(1) + '\u07EC',
    text,
    count=0,
    flags=re.UNICODE | re.MULTILINE,
)

注意事项

  • 不要把 r'\g<1>\u07EC' 用作 re.sub 的替换字符串;re 的替换解析器会报 bad escape \u。
  • 普通字符串 '\g<1>\u07EC' 即使当前只给警告,也依赖了非法转义的行为,不建议这样写。
  • 如果确实要输出字面文本 \u07EC,替换字符串里要写成 \\u07EC,让 re 输出一个反斜杠再加 u07EC。这和输出 U+07EC 字符是两回事。
  • 对 str 模式来说,Python 3 中 re.UNICODE 默认开启,保留它不影响结果;关键是替换字符串的构造方式。
  • 源文件建议使用 UTF-8,并确认 N’ko 字符和 U+07EC 在编辑器、终端、输出文件里没有被二次转义。

备注:内容仅供参考。