Regex 替换中组引用与 Unicode 转义冲突
数据小陈
结论
分组引用本身没有问题,问题出在两个转义阶段混在一起:普通字符串字面量会先解析 \u07EC,而 \g 在这里会被当成非法转义;随后 re.sub 的替换字符串解析器再处理 \g<1>。分组引用应使用 raw 字符串 r'\g<1>';U+07EC 则用实际字符 '\u07EC' 或 chr(0x07EC) 拼进去。也可以把替换函数写成 lambda,完全绕开替换字符串的转义规则。
原因
- 普通字符串
'\g<1>\u07EC'里的\g不是合法的 Python 转义,所以会触发SyntaxWarning: invalid escape sequence '\g'。另外,\u07EC会先被 Python 解析成实际的 Unicode 字符。 - raw 字符串
r'\g<1>\u07EC'虽然不会让 Python 解析\u07EC,但re.sub的替换字符串解析器只认分组引用、反斜杠转义这类写法,不认识\uXXXX,因此报re.error: bad escape \u at position 5。 - 如果写成
\\u,替换解析器会把\\当成一个字面反斜杠,后面的u07EC只是普通文本。结果输出的是字面量\u07EC,而不是 U+07EC 字符。 - 正则模式里的
\u07F2、\u0300由re的模式解析器处理,和替换字符串的规则不同。
解决步骤
- 正则 pattern 继续用 raw 字符串即可,例如
r'([ߊߍߋߌߐߏߎ][\u07F2]*)\u0300'。 - 替换字符串里,
\g<1>用 raw 字符串保留;U+07EC 不要写成 raw 字符串里的\u07EC,要用普通字符串的实际字符或chr(0x07EC)拼接。 - 调用
re.sub时,建议把count和flags写成关键字参数,可读性更好。 - 如果不想处理替换字符串转义,可以让 lambda 返回
m.group(1) + '\u07EC'。
代码示例
拼接写法:
import re
pattern = r'([ߊߍߋߌߐߏߎ][\u07F2]*)\u0300'
repl = r'\g<1>' + '\u07EC'
text = re.sub(
pattern,
repl,
text,
count=0,
flags=re.UNICODE | re.MULTILINE,
)
用 chr 的写法:
repl = r'\g<1>' + chr(0x07EC)
用 lambda 的写法:
pattern = r'([ߊߍߋߌߐߏߎ][\u07F2]*)\u0300'
text = re.sub(
pattern,
lambda m: m.group(1) + '\u07EC',
text,
count=0,
flags=re.UNICODE | re.MULTILINE,
)
注意事项
- 不要把
r'\g<1>\u07EC'用作re.sub的替换字符串;re的替换解析器会报bad escape \u。 - 普通字符串
'\g<1>\u07EC'即使当前只给警告,也依赖了非法转义的行为,不建议这样写。 - 如果确实要输出字面文本
\u07EC,替换字符串里要写成\\u07EC,让re输出一个反斜杠再加u07EC。这和输出 U+07EC 字符是两回事。 - 对
str模式来说,Python 3 中re.UNICODE默认开启,保留它不影响结果;关键是替换字符串的构造方式。 - 源文件建议使用 UTF-8,并确认 N’ko 字符和 U+07EC 在编辑器、终端、输出文件里没有被二次转义。
备注:内容仅供参考。
