PAYATHON 2026

如何使用本地模型或免费 API 解决 RAG 评估中的 JSON 错误和限流?

架构老王

可以使用本地模型或免费 API 评估 RAG,但要先确保评估流程稳定,再分析 RAG 分数。你遇到的无效 JSON 和 Rate limit 说明评估请求没有稳定完成,不能据此判断 RAG 回答质量差。

可以先缩小评估范围,检查本地模型的结构化输出,再根据实际配额串行调用免费 API。检索质量则可以先用人工标注和确定性指标评估,减少对评审模型的依赖。

先区分评估失败和回答错误

至少分别记录以下状态:

  • 成功获得有效评估结果。
  • 模型返回了内容,但 JSON 解析或字段校验失败。
  • 请求因限流、超时等原因没有完成。

后两种情况应标记为评估失败或待重试,不能直接记为 RAG 得分 0。汇总时应报告有效评估数量、失败数量和有效样本上的得分,并说明失败样本尚未得到有效评估。

你提供的 25 个问题中有 15~19 个失败,只看剩余样本的平均分,不足以代表整组问题的表现。

本地模型:先定位 JSON 为什么无效

先选一个问题和一个评估指标,保存完整提示词、模型原始输出和解析异常。可以从以下方向排查:

  • JSON 前后夹带解释或 Markdown 代码围栏。
  • 输出被截断,缺少引号或闭合括号。
  • 字段缺失、类型错误,或不符合指标要求的 schema。
  • 接入层没有按框架要求返回结果。

这些都只是可能原因,需要逐项确认,不能仅凭模型大小确定根因。

如果本地推理服务支持 JSON schema 或语法约束生成,优先使用这些能力,并确认约束确实传到了推理服务。仅在提示词里要求“返回 JSON”,不能保证输出始终有效。

还可以降低采样随机性、为输出预留足够长度,并移除与评估无关的输入。判断忠实度时,需要保留用于核对答案的检索证据,不能为了缩短提示词而删掉关键上下文。

下面演示应用层的解析和字段校验。这个结构仅作示例,不是 DeepEval 的通用返回格式,实际字段应以所用指标的要求为准:

import json
import math


def parse_judgment(raw):
    result = json.loads(raw)
    if not isinstance(result, dict):
        raise ValueError("Expected a JSON object")

    score = result.get("score")
    reason = result.get("reason")
    if type(score) not in (int, float):
        raise ValueError("score must be numeric")
    if not math.isfinite(score) or not 0 <= score <= 1:
        raise ValueError("score must be finite and within [0, 1]")
    if not isinstance(reason, str):
        raise ValueError("reason must be a string")

    return result

解析失败后,可以把明确的校验错误反馈给模型,进行有限次数的修复尝试。不要用字符串替换强行补出分数,也不要无限重试。修复请求同样需要计入成本和配额。

免费 API:先测量调用量,再控制速度

你观察到每个问题产生 3~4 次响应,可以据此估算当前配置的请求量,但不能推断所有 DeepEval 指标都会固定调用这么多次。具体次数还需要结合启用的指标、评估步骤和重试记录确认。

按每题 4 次请求估算,25 道题约需 100 次请求,尚未计入重试。如果单题还有其他评估指标,请求量可能继续增加。

可以按以下顺序调整:

  1. 先运行 3~5 个问题,只启用一个核心指标,记录实际请求次数及 token 用量。
  2. 将并发降到 1,结合响应中的限流信息安排请求间隔。
  3. 遇到限流时,若服务提供 Retry-After,按其指示等待;否则采用有上限的指数退避,并加入随机抖动。
  4. 每完成一个样本就保存结果,支持断点继续,避免失败后整批重跑。
  5. 缓存已完成的评估;缓存标识应包含问题、答案、上下文、评估模型、提示词和指标配置等会影响结果的内容。

仅降低并发不一定足够。如果触发的是 token 配额或每日额度,仍需减少输入、减少评估步骤,或等待额度恢复。具体限制以所用服务和账户的实际配额为准。

将检索评估和答案评估分开

并非所有 RAG 评估都需要另一个模型打分。

如果能为问题标注相关文档 ID,可以先计算 Recall@k、MRR 等检索指标。Recall@k 用于衡量相关文档是否被检索到,MRR 关注第一个相关结果的位置。这些指标可以直接根据标注和检索结果计算。

对于生成答案,可以先人工检查一小组固定问题,分别判断:

  • 答案是否得到检索上下文支持。
  • 是否回答了问题。
  • 关键事实是否正确。

再用这组人工判断检查本地评审模型是否可靠。有效 JSON 只说明输出格式合格,不说明评分准确。如果评审模型与生成模型相同或相近,也需要人工抽查其偏差。

在 DeepEval 中接入时需要确认什么

目前没有提供 DeepEval 版本、指标配置和自定义模型代码,因此无法给出保证适用的构造参数。需要结合已安装版本确认自定义模型接口、同步或异步调用路径,以及指标是否要求特定的结构化返回值。

如果单独调用本地模型能稳定返回目标结构,而接入后仍失败,应继续检查适配层和指标要求。如果单独调用也不稳定,先解决推理服务或输出约束问题。

适合当前预算的做法是固定一小组问题,先完成检索评估,再用一个生成质量指标跑通完整流程。确认输出可解析、调用量可控、评分与人工判断基本一致后,再扩展到全部 25 个问题。

备注:内容仅供参考。