PAYATHON 2026

pgvector HNSW 相同查询重复调用 top 结果顺序不稳定

数据小陈

结论

这更像是 HNSW 近似最近邻搜索在“候选距离非常接近”时出现的顺序不稳定问题。索引损坏或查询写错的可能性相对低一些。HNSW 不保证 top N 内每个候选的全局严格顺序,距离差很小时尤其如此;如果查询只写了 ORDER BY embedding <=> $1,没有稳定的二级排序键,最终输出顺序就容易受到候选淘汰、浮点精度和索引扫描返回顺序的影响。

如果查询向量、hnsw.ef_search、执行计划和底层数据完全一致,搜索路径理论上应该相对稳定。实际出现反复变化时,建议按下面的顺序排查,不要只盯着索引参数。

原因分析

  1. HNSW 是近似搜索。ef_search 控制搜索候选集大小,距离很接近的候选在堆淘汰和遍历过程中可能处在边界上;ef_search 越大越稳,但不等于精确 top N。
  2. ORDER BY 缺少稳定二级键。两个距离相差很小时,数据库没有义务在距离之外再按 id 排序;索引扫描返回顺序稍有变化,结果顺序就可能变。
  3. 浮点精度和参数一致性。vector 默认使用 float4,显示到 6 位小数不代表内部完全相等。另外要确认每次发送的 $1 字节级一致,并确认连接池中每个连接的 hnsw.ef_search 一致。
  4. 执行计划差异。不同连接、不同参数或不同计划可能走不同的索引扫描或排序路径,建议用 EXPLAIN (ANALYZE, BUFFERS) 对比。

解决步骤

  1. 先用 prepared statement 或参数绑定固定查询向量,避免应用层序列化造成细微差异。
  2. 在连接池初始化时统一设置 hnsw.ef_search,不要只在某个会话里临时设置。
  3. 给最终结果增加稳定排序键。如果希望保留 HNSW 索引,可以先扩大候选集,再在外层精确重排。
  4. 对稳定性要求高的场景,考虑精确检索,或在应用层按 id 做稳定排序。
  5. 用 EXPLAIN 确认是否使用了 HNSW 索引扫描,以及是否发生了额外排序。

代码示例

先扩大候选集,再按距离和 id 稳定排序:

SET hnsw.ef_search = 200;

WITH candidates AS (
  SELECT
    id,
    embedding <=> $1 AS distance
  FROM document_chunks
  ORDER BY embedding <=> $1
  LIMIT 50
)
SELECT
  id,
  distance,
  1 - distance AS similarity
FROM candidates
ORDER BY distance, id
LIMIT 10;

如果业务能接受精确检索的延迟,可以在事务内临时关闭索引扫描做精确排序:

BEGIN;
SET LOCAL enable_indexscan = off;

SELECT
  id,
  embedding <=> $1 AS distance,
  1 - (embedding <=> $1) AS similarity
FROM document_chunks
ORDER BY embedding <=> $1, id
LIMIT 10;

COMMIT;

注意:关闭索引扫描会影响当前事务内的其他查询,生产环境要谨慎评估。

注意事项

  • 不要依赖没有二级排序的 LIMIT 10 结果顺序,尤其是距离非常接近的候选。
  • 增大 hnsw.ef_search 能降低召回波动,但会增加查询延迟,不能保证严格确定性。
  • m 和 ef_construction 主要影响索引构建和召回,调整前要重新评估构建成本。
  • 如果两个结果在业务上等价,可以在应用层按稳定键排序;如果业务上不等价,应使用精确检索或更高召回配置。

备注:内容仅供参考。