PAYATHON 2026

Python etree 解析 HTML 返回 NoneType

排障赵师傅

结论

从目前展示的 HTML 看,etree.HTML() 不应返回 None。标签未完全配对、id 重复,以及 URL 中的 & 未写成 &,可能影响解析结果,不过 lxml 的 HTML 解析器通常能容忍这些问题。

如果相同内容只在 Mac 上返回 None,可以先排查以下两点:

  1. 原始响应中是否含有不可见的非法字符,特别是 \x00。
  2. Mac 环境中的 lxml 是否使用了不同版本或不同构建方式的 libxml2,从而引发底层解析器的兼容问题。

只看 lxml 4.9.3 无法确定原因,实际负责解析的是底层的 libxml2。

检查不可见字符

文本来自 requests.get().text 时,浏览器和终端通常不会明显显示 NUL 字符或其他控制字符。可以直接扫描:

invalid_chars = [
    (index, f"U+{ord(char):04X}", repr(char))
    for index, char in enumerate(html)
    if ord(char) == 0 or (ord(char) < 32 and char not in "\t\n\r")
]

print(invalid_chars[:20])
print(repr(html[:100]))
print(repr(html[-100:]))

如果结果中有 U+0000,删除该字符后再解析:

from lxml import etree

clean_html = html.replace("\x00", "")

root = etree.HTML(clean_html)

if root is None:
    raise ValueError("HTML 解析失败")

print(root)

处理来源不稳定的网页时,也可以保留合法的制表符、换行符和回车符,同时过滤其他低位控制字符:

def clean_control_chars(text):
    return "".join(
        char
        for char in text
        if ord(char) >= 32 or char in "\t\n\r"
    )

clean_html = clean_control_chars(html)
root = etree.HTML(clean_html)

不要直接忽略所有字符编码错误,以免掩盖真正的原因。

查看解析器错误日志

etree.HTML() 是便捷函数,不便于直接查看底层错误。使用显式解析器后,可以检查 libxml2 的错误报告:

from lxml import etree

parser = etree.HTMLParser(recover=True)

try:
    root = etree.fromstring(html.encode("utf-8"), parser)
except etree.XMLSyntaxError as exc:
    print("解析异常:", exc)
    root = None

for error in parser.error_log:
    print(
        error.level_name,
        error.line,
        error.column,
        error.message,
    )

print(root)

如果日志中出现非法字符、编码错误或解析深度限制,可以根据具体错误处理。recover=True 可以修复许多不规范标签,但不能保证所有输入都能生成文档树。

检查实际使用的 libxml2

分别在正常环境和出现问题的 Mac 环境中执行:

from lxml import etree

print("lxml:", etree.LXML_VERSION)
print("libxml2 runtime:", etree.LIBXML_VERSION)
print("libxml2 compiled:", etree.LIBXML_COMPILED_VERSION)
print("libxslt runtime:", etree.LIBXSLT_VERSION)
print("libxslt compiled:", etree.LIBXSLT_COMPILED_VERSION)

主要比较以下两项:

etree.LIBXML_VERSION
etree.LIBXML_COMPILED_VERSION

运行时版本与编译时版本不一致,或者两台机器使用了不同的 libxml2,都可能造成平台差异。通过 pyenv 更换 Python 版本未必有效。pyenv 主要管理 Python 解释器,无法保证 lxml 使用的本地库也会随之变化。

可以在虚拟环境中重新安装 lxml,避免继续使用缓存中的旧构建产物:

python -m pip uninstall -y lxml
python -m pip install --no-cache-dir --force-reinstall lxml

如果项目必须固定使用 lxml 4.9.3,还需要确认安装的是官方 wheel,还是根据本机系统库编译的版本。更换生产环境依赖前应先完成回归测试。

解析 requests 响应时优先使用 content

解析服务器返回的 HTML 时,通常可以直接把 response.content 交给解析器,由解析器根据响应内容和 HTML 声明处理编码:

import requests
from lxml import etree

response = requests.get("https://example.com", timeout=15)
response.raise_for_status()

parser = etree.HTMLParser(recover=True)
root = etree.fromstring(
    response.content,
    parser,
    base_url=response.url,
)

if root is None:
    for error in parser.error_log:
        print(error)
    raise ValueError("服务器响应无法解析为 HTML")

print(root)

response.text 已由 requests 解码。如果服务器声明的编码不准确,解码后的字符串可能含有替换字符或错误内容。直接使用 response.content 可以省去一次不必要的转换。

服务器没有提供可靠的编码声明时,也可以先检查编码,再自行解码:

response.encoding = response.apparent_encoding
html = response.text

apparent_encoding 只是检测结果,不能保证正确。它更适合用来诊断,不建议无条件作为统一的修复方式。

这段 HTML 中的其他问题

示例是 HTML 片段,并非完整文档,其中还含有一些不规范内容,例如:

<a href="/cart?t=dps_2&c=1">

更规范的写法是:

<a href="/cart?t=dps_2&amp;c=1">

片段中还有重复的 id="menu_free",并混合了 <svg> 内容。这些问题通常不会直接导致 etree.HTML() 返回 None,但可能产生警告、使解析器自动调整节点结构,或者让不同版本的 libxml2 生成不同的树形结果。

如果要解析的是 HTML 片段,可以使用片段解析接口:

from lxml import html as lxml_html

fragments = lxml_html.fragments_fromstring(
    clean_html,
    create_parent="div",
)

print(fragments)

也可以先将其补成完整文档:

from lxml import etree

document = f"""<!doctype html>
<html>
  <head><meta charset="utf-8"></head>
  <body>
    {clean_html}
  </body>
</html>
"""

root = etree.HTML(document)
print(root)

补成完整文档后,解析得到的结构可能更稳定,但这无法解决非法 NUL 字符或底层库异常。

预期输出

正常情况下:

root = etree.HTML(html)
print(root)

可能得到:

<Element html at 0x...>

其中的地址每次运行都可能不同,不能用来判断解析是否成功。可以改为检查根节点和序列化结果:

if root is not None:
    print(root.tag)
    print(
        etree.tostring(
            root,
            encoding="unicode",
            pretty_print=True,
        )
    )

建议先扫描控制字符并检查 parser.error_log。确认输入中没有非法字符后,再比较 LIBXML_VERSION 和 LIBXML_COMPILED_VERSION。仅凭当前展示的 HTML,无法确定究竟是哪个字符或哪个 libxml2 缺陷导致解析失败。不过,变量名 html 不会影响 etree.HTML() 的行为。

备注:内容仅供参考。