PAYATHON 2026

印度电话录音中的说话人识别、分离与人数估计

数据阿明

结论

不要一概停用 WebRTC VAD，也不要把它的切分结果直接当作最终说话人片段。先检查分离模型自身的分段效果，再用同一批录音对比模型自身分段和外部 VAD 辅助两种流程。

识别时，通常先汇总同一说话人簇中多个质量合格的片段，再用簇级 embedding 与已注册说话人比对，会比逐个短片段单独匹配更稳妥。人数估计和识别阈值都应使用与目标通话相近的标注录音进行校准，不能把固定的 0.50 当作通用标准。

VAD 和分段怎么处理

WebRTC VAD 可以提示语音活动，但它的输出不一定适合作为 diarization 的硬边界。噪声、轻声、短语音以及通话中的重叠说话都可能影响 VAD。片段太短时，也可能无法稳定提取说话人 embedding。

可以按以下步骤比较两种流程：

  1. 在同一批代表性录音上运行 diarization 模型自身的分段流程，记录漏检、误检和切分质量。
  2. 再运行 WebRTC VAD 辅助流程，检查 VAD 是否截断轻声语音、把连续语音切得过碎，或影响重叠语音处理。
  3. 如果保留 VAD，可将它用作辅助信息或粗略筛选条件。避免直接把短 VAD 片段作为独立的 embedding 匹配单元。片段如何合并，应根据所用模型的输入要求和输出定义处理。
  4. 确认音频采样率符合模型要求。需要重采样时，应正确处理音频；仅修改采样率标记不会转换音频。

是否跳过 VAD，应根据目标录音上的对比结果决定，不能只看 8kHz 这一条件。还要区分语音活动检测和说话人边界检测：前者判断哪里有语音，后者还要判断是谁在何时说话。

用簇级 embedding 做识别

逐段匹配容易受片段时长、噪声和语音内容影响。可以先从同一 diarization 簇中的多个合格片段提取 embedding，过滤过短、明显受噪声影响或含有重叠语音的片段，再计算簇级向量。以下是通用 NumPy 示例，假设输入向量已由所用模型生成，不对应某个工具的固定 API：

import numpy as np

def cluster_centroid(embeddings, weights=None):
    """汇总同一说话人簇的 embeddings，并返回归一化 centroid。"""
    vectors = np.asarray(embeddings, dtype=float)
    norms = np.linalg.norm(vectors, axis=1, keepdims=True)
    vectors = vectors / np.maximum(norms, 1e-12)

    if weights is None:
        centroid = vectors.mean(axis=0)
    else:
        weights = np.asarray(weights, dtype=float)
        weights = weights / max(weights.sum(), 1e-12)
        centroid = (vectors * weights[:, None]).sum(axis=0)

    return centroid / max(np.linalg.norm(centroid), 1e-12)


def cosine_similarity(a, b):
    a = a / max(np.linalg.norm(a), 1e-12)
    b = b / max(np.linalg.norm(b), 1e-12)
    return float(np.dot(a, b))

权重可以根据片段时长或质量评分设置，并用验证数据确认效果。不要仅凭直觉给低质量片段很高的权重，也不要把不同说话人的片段放进同一个簇。如果 diarization 把多人合成一个簇，簇级平均也会混合身份信息，因此分离结果也需要评估。

提高人数估计的可靠性

人数估计通常会同时受到分离和聚类错误的影响。同一说话人被拆成多个簇，人数可能偏高；多人被合并，人数则可能偏低。建议：

  • 用人工核对过的代表性通话检查 diarization 的说话人边界和聚类结果，并分别记录过度拆分和错误合并。
  • 检查极短簇、低置信度簇和疑似重叠语音。这些情况可能来自噪声或分段伪影，但不能只凭时长就认定它们不属于说话人。
  • 如果已知通话场景中的人数范围，可将其作为评估时的先验或业务约束；没有依据时，不要强行指定固定人数。
  • 在相同数据上比较不同的分段和聚类设置。验证集应按通话划分，而非随机抽取片段，以免同一通话中的相似片段同时出现在训练集和验证集中。

如果具体模型提供说话人数或聚类相关设置，应结合模型文档和目标数据进行验证。不同工具的参数含义可能不同。

校准 cosine similarity 阈值

固定使用 0.50 可能不合适，因为分数分布会受到 embedding 模型、录音条件、片段质量和说话人群体的影响。准备一批与实际场景接近、带有真实身份标签的录音，分别收集“同一人”和“不同人”的匹配分数，再根据业务对误识与拒识的容忍度选择阈值。

可以查看 ROC 曲线、精确率和召回率；如果误识与漏识的代价相当，也可以参考 EER。两种错误的代价不同时，应根据实际代价选择工作点。

生产流程还可以设置“接受、拒绝、待复核”三个区间：只有最高匹配分数足够高，且与次高分数有足够差距时，才自动分配身份；低于下限时标记为未知；处于中间区域时保留未知或转人工复核。区间边界也应根据验证数据确定。阈值应针对固定的模型、音频处理流程和目标场景校准。升级模型或改变处理方式后，需要重新评估。

实施时的注意事项

先固定并记录采样率处理、分段策略、embedding 模型和聚类流程，再比较改动效果。分段、人数估计和身份匹配彼此相关，但属于不同环节；改善其中一步，不一定会带动其他环节。遇到噪声较重或重叠明显的片段，应允许系统输出未知或待复核，避免强行分配身份。

备注：内容仅供参考。