PAYATHON 2026

LearningCurveDisplay 为何报 pos_label=1 错误?

AI 小顾

结论

先检查学习曲线中用于拟合模型的训练子集是否只有类别 0。如果 RandomForestClassifier 只见过 0,拟合后的 classes_ 就只有 [0]。由于 scoring='average_precision' 默认以 1 为正类,评分时无法取得该类别的预测分数,可能因此报错。

分层交叉验证保证的是完整交叉验证折的类别分布。学习曲线还会从每个训练折中截取更小的训练子集,这些子集仍可能缺少正类。

给 LearningCurveDisplay.from_estimator 设置 shuffle=True 和固定的 random_state,通常能解决由样本顺序引起的问题。但随机打乱不能保证每个子集都包含两类,少数类特别稀少时仍需检查。

为什么使用分层交叉验证仍然报错?

对于分类器和二分类标签,传入整数 cv=10 时,scikit-learn 默认使用 StratifiedKFold,且不打乱样本。因此,改为显式指定 StratifiedKFold 未必会改变结果。

LearningCurveDisplay 底层通过 learning_curve 计算分数。默认 shuffle=False 时,它会从每个训练折的索引序列开头取出指定数量的样本来拟合模型。

例如,train_sizes=[0.55, 0.78, 1.0] 分别使用每个交叉验证训练折中约 55%、78% 和全部样本。比例以交叉验证训练折的大小为基准。

如果数据中的类别集中在不同位置,截取前 55% 的样本可能只得到类别 0。即使完整训练折同时包含 0 和 1,较小的训练子集也不一定包含两类。

给 StratifiedKFold 设置 shuffle=True 控制的是样本如何分配到各折,learning_curve 截取训练子集时使用的索引顺序还需要通过 LearningCurveDisplay 自身的 shuffle 参数来打乱。

如何确认是哪一个子集出了问题?

得到 X、y 和 train_sizes 后,可以检查原始配置下各个训练子集的标签分布:

from sklearn.model_selection import StratifiedKFold

cv = StratifiedKFold(n_splits=10)
splits = list(cv.split(X, y))

max_train_size = min(len(train_idx) for train_idx, _ in splits)
sizes = np.unique(
    (np.asarray(train_sizes) * max_train_size).astype(int)
)

print("All labels:", np.unique(y, return_counts=True))

for fold, (train_idx, test_idx) in enumerate(splits, start=1):
    print(
        "Fold:", fold,
        "Validation labels:",
        np.unique(y[test_idx], return_counts=True),
    )
    for size in sizes:
        subset_idx = train_idx[:size]
        print(
            "Train size:", size,
            "Train labels:",
            np.unique(y[subset_idx], return_counts=True),
        )

如果某个训练子集的标签只有 0,就找到了需要处理的子集。上述检查对应原始代码中未打乱训练索引的情况;启用打乱后,检查子集时也要使用相同的打乱方式。

仅凭报错文本无法确认数据的实际排列方式。完整 traceback 可以进一步帮助确认异常发生在预测响应处理还是评分函数内部。

如何修改代码?

保留已有的 X、y 和 model,将绘制部分改为:

from sklearn.model_selection import LearningCurveDisplay, StratifiedKFold

cv = StratifiedKFold(
    n_splits=10,
    shuffle=True,
    random_state=0,
)

LearningCurveDisplay.from_estimator(
    model,
    X,
    y,
    train_sizes=[0.55, 0.78, 1.0],
    cv=cv,
    scoring="average_precision",
    shuffle=True,
    random_state=0,
    error_score="raise",
    line_kw={"marker": "o"},
)

plt.show()

两个 shuffle=True 分别控制交叉验证的折划分和学习曲线训练子集的抽样顺序。random_state=0 用于复现划分和抽样结果。

error_score="raise" 用于排查:评分失败时直接抛出异常,便于查看 traceback。它本身不能修复类别缺失。

如果打乱后仍出现单类别训练子集,可以增大最小 train_sizes。若必须保证每个训练规模都包含两类,需要自行循环各折和训练规模,在每个训练折内部进行分层抽样,再拟合模型并计算分数。learning_curve 的 shuffle=True 只负责随机打乱,无法提供这种保证。

还需要注意什么?

验证折缺少正类也需要检查,它与模型只学到 [0] 是不同的情况。对于通常的 average_precision_score 调用,y_true 没有正类会产生警告,并返回没有正类评估意义的结果。不能仅凭这条报错就断定是验证折缺少正类,应分别检查训练子集和验证折的标签分布,并根据少数类数量选择合适的 n_splits。

class_weight='balanced' 无法补充训练子集中不存在的类别。把正类改为 0 会改变评估目标,也不能修复缺少类别 1 的训练问题。

原始代码虽然调用了 train_test_split,但绘图时传入的是 X, y,因此学习曲线没有使用 X_train, y_train。如果打算保留独立测试集,应在划分时考虑 stratify=y,并只用 X_train, y_train 绘制学习曲线。

另外,问题展示的 load_dataset 函数体缺少缩进。如果实际代码也如此,需要先修正缩进,否则会先发生 IndentationError。

备注:内容仅供参考。