如何统计可重试任务的失败率，避免高频重试任务主导指标？

建议将任务最终失败率作为主要指标，同时展示重试发生率和重试次数分布。如果还需要一个反映执行失败、同时限制单个任务影响的比例，可以增加任务等权失败率。

这些指标回答的问题不同，很难用一个数字同时表达最终结果、受影响范围和实际重试成本。

为什么目前的失败率会被单个任务主导？

现有公式按执行次数汇总：

attempt_failure_rate = total_failures / total_attempts

设任务 i 的执行次数为 a_i，失败次数为 f_i，其任务内失败率为 q_i = f_i / a_i，则现有指标可以写成：

attempt_failure_rate = Σ(a_i × q_i) / Σa_i

任务的权重取决于它执行了多少次。执行 500 次的任务，权重是只执行一次的任务的 500 倍。

题目中的计算为：

490 / (500 + 4) ≈ 97.22%

这个数表示所有执行尝试中的失败占比，不能直接解释为“97.22% 的任务失败了”。

此外，“500 次执行中有 490 次失败”没有给出该任务的最终状态。任务最终成功还是失败，应以任务状态记录为准，不能仅凭累计次数推断。

1. 用任务最终失败率衡量交付结果

对于同一批已经结束的任务，计算：

job_failure_rate = 最终失败任务数 / 已结束任务数

每个任务只贡献一次结果，因此单个任务不会因为重试多次而被重复计权。

任务最终成功时，无论执行一次还是 500 次，都会记为成功。重试过程可以由其他指标补充。

需要事先明确“最终失败”的含义，例如重试耗尽后失败。取消、超时终止等状态是否计入，应根据平台对任务结果的定义决定，并保持统计口径一致。

2. 用任务等权失败率保留失败尝试信息

如果需要限制单个任务的影响，同时保留其失败尝试占比，可以先计算每个任务的失败率，再对任务求平均：

macro_failure_rate = (1 / J) × Σ(f_i / a_i)

其中 J 是纳入统计的任务数，每个任务至少执行一次。

题目中的结果为：

macro_failure_rate = (0 + 0 + 0 + 0 + 490/500) / 5
                   = 19.6%

每个任务的失败率都在 0 到 1 之间，因此单个任务对整体指标的贡献最多为 1/J。在这个例子中，最多贡献 20 个百分点。

这个指标也能区分首次成功与多次失败后成功：

• 首次执行成功：任务内失败率为 0。
• 前 499 次失败、第 500 次成功：任务内失败率为 499/500，即 99.8%。

它衡量的是任务内失败比例，而非重试次数。失败率接近 100% 后，继续增加失败次数对比例的影响会越来越小，因此还需要直接观察重试量。

3. 用重试发生率和次数分布衡量重试负担

先定义每个任务的重试次数：

retries_i = a_i - 1

这里假设除第一次执行外，后续执行都属于同一逻辑任务的重试。如果人工重新运行被视为新任务，应使用新的任务标识统计。

建议展示以下指标：

在题目示例中，假设后续执行全部属于重试：

retry_incidence = 1 / 5 = 20%
total_retries = 499
mean_retries_per_job = 499 / 5 = 99.8

平均重试次数仍会被极端任务拉高，因为它包含了这些额外执行成本。它适合用于补充容量和成本分析，不适合单独描述典型任务的体验。

解读分位数时也要看样本量。只有 5 个任务时，高分位数很容易受到最大值及计算方法的影响；同时展示任务数和分布，有助于判断。

4. 一个任务级聚合示例

下面的 Python 示例假设每行对应一个已经结束的逻辑任务，包含 attempts、failures 和布尔字段 final_failed。任务最终状态由平台提供，不从失败次数推断。

def summarize_jobs(rows):
    jobs = list(rows)
    if not jobs:
        return None  # 没有样本，不应报告为失败率 0

    n = len(jobs)
    total_attempts = sum(j["attempts"] for j in jobs)
    total_failures = sum(j["failures"] for j in jobs)
    retries = [j["attempts"] - 1 for j in jobs]

    return {
        "job_count": n,
        "job_failure_rate": sum(j["final_failed"] for j in jobs) / n,
        "macro_failure_rate": sum(
            j["failures"] / j["attempts"] for j in jobs
        ) / n,
        "retry_incidence": sum(r > 0 for r in retries) / n,
        "total_retries": sum(retries),
        "mean_retries_per_job": sum(retries) / n,
        "attempt_failure_rate": total_failures / total_attempts,
    }

输入应满足 attempts >= 1、0 <= failures <= attempts，并确保执行记录已去重。重试次数分布可以基于同一组 retries 另行生成。

统计口径需要注意什么？

如果按提交时间选取一批任务，尚未结束的任务不能提前判定为成功或失败。应同时报告未结束任务数，并将最终结果指标标为暂定。只统计已结束任务时，也要注意长时间重试的任务可能尚未进入结果统计。

用户设置的 max_retries 不同，会影响最终成功机会和重试次数。可以按重试策略、任务类型或错误类别分别查看，再结合总体指标判断。

执行级失败率对了解执行层面的运行状况仍有价值，建议保留。如果目标是衡量实际资源损耗，还可以统计失败尝试消耗的执行时长或计算资源；执行次数本身无法完整代表成本。

对于这个场景，可以用“任务最终失败率 + 重试发生率”作为主要概览，配合任务等权失败率和重试次数分布，以便了解任务的最终结果，以及成功前经历的重试次数。

备注：内容仅供参考。