pgvector HNSW 相同查询重复调用 top 结果顺序不稳定
数据小陈
结论
这更像是 HNSW 近似最近邻搜索在“候选距离非常接近”时出现的顺序不稳定问题。索引损坏或查询写错的可能性相对低一些。HNSW 不保证 top N 内每个候选的全局严格顺序,距离差很小时尤其如此;如果查询只写了 ORDER BY embedding <=> $1,没有稳定的二级排序键,最终输出顺序就容易受到候选淘汰、浮点精度和索引扫描返回顺序的影响。
如果查询向量、hnsw.ef_search、执行计划和底层数据完全一致,搜索路径理论上应该相对稳定。实际出现反复变化时,建议按下面的顺序排查,不要只盯着索引参数。
原因分析
- HNSW 是近似搜索。
ef_search控制搜索候选集大小,距离很接近的候选在堆淘汰和遍历过程中可能处在边界上;ef_search越大越稳,但不等于精确 top N。 ORDER BY缺少稳定二级键。两个距离相差很小时,数据库没有义务在距离之外再按id排序;索引扫描返回顺序稍有变化,结果顺序就可能变。- 浮点精度和参数一致性。
vector默认使用 float4,显示到 6 位小数不代表内部完全相等。另外要确认每次发送的$1字节级一致,并确认连接池中每个连接的hnsw.ef_search一致。 - 执行计划差异。不同连接、不同参数或不同计划可能走不同的索引扫描或排序路径,建议用
EXPLAIN (ANALYZE, BUFFERS)对比。
解决步骤
- 先用 prepared statement 或参数绑定固定查询向量,避免应用层序列化造成细微差异。
- 在连接池初始化时统一设置
hnsw.ef_search,不要只在某个会话里临时设置。 - 给最终结果增加稳定排序键。如果希望保留 HNSW 索引,可以先扩大候选集,再在外层精确重排。
- 对稳定性要求高的场景,考虑精确检索,或在应用层按
id做稳定排序。 - 用
EXPLAIN确认是否使用了 HNSW 索引扫描,以及是否发生了额外排序。
代码示例
先扩大候选集,再按距离和 id 稳定排序:
SET hnsw.ef_search = 200;
WITH candidates AS (
SELECT
id,
embedding <=> $1 AS distance
FROM document_chunks
ORDER BY embedding <=> $1
LIMIT 50
)
SELECT
id,
distance,
1 - distance AS similarity
FROM candidates
ORDER BY distance, id
LIMIT 10;
如果业务能接受精确检索的延迟,可以在事务内临时关闭索引扫描做精确排序:
BEGIN;
SET LOCAL enable_indexscan = off;
SELECT
id,
embedding <=> $1 AS distance,
1 - (embedding <=> $1) AS similarity
FROM document_chunks
ORDER BY embedding <=> $1, id
LIMIT 10;
COMMIT;
注意:关闭索引扫描会影响当前事务内的其他查询,生产环境要谨慎评估。
注意事项
- 不要依赖没有二级排序的
LIMIT 10结果顺序,尤其是距离非常接近的候选。 - 增大
hnsw.ef_search能降低召回波动,但会增加查询延迟,不能保证严格确定性。 m和ef_construction主要影响索引构建和召回,调整前要重新评估构建成本。- 如果两个结果在业务上等价,可以在应用层按稳定键排序;如果业务上不等价,应使用精确检索或更高召回配置。
备注:内容仅供参考。
