LearningCurveDisplay 为何报 pos_label=1 错误?
结论
先检查学习曲线中用于拟合模型的训练子集是否只有类别 0。如果 RandomForestClassifier 只见过 0,拟合后的 classes_ 就只有 [0]。由于 scoring='average_precision' 默认以 1 为正类,评分时无法取得该类别的预测分数,可能因此报错。
分层交叉验证保证的是完整交叉验证折的类别分布。学习曲线还会从每个训练折中截取更小的训练子集,这些子集仍可能缺少正类。
给 LearningCurveDisplay.from_estimator 设置 shuffle=True 和固定的 random_state,通常能解决由样本顺序引起的问题。但随机打乱不能保证每个子集都包含两类,少数类特别稀少时仍需检查。
为什么使用分层交叉验证仍然报错?
对于分类器和二分类标签,传入整数 cv=10 时,scikit-learn 默认使用 StratifiedKFold,且不打乱样本。因此,改为显式指定 StratifiedKFold 未必会改变结果。
LearningCurveDisplay 底层通过 learning_curve 计算分数。默认 shuffle=False 时,它会从每个训练折的索引序列开头取出指定数量的样本来拟合模型。
例如,train_sizes=[0.55, 0.78, 1.0] 分别使用每个交叉验证训练折中约 55%、78% 和全部样本。比例以交叉验证训练折的大小为基准。
如果数据中的类别集中在不同位置,截取前 55% 的样本可能只得到类别 0。即使完整训练折同时包含 0 和 1,较小的训练子集也不一定包含两类。
给 StratifiedKFold 设置 shuffle=True 控制的是样本如何分配到各折,learning_curve 截取训练子集时使用的索引顺序还需要通过 LearningCurveDisplay 自身的 shuffle 参数来打乱。
如何确认是哪一个子集出了问题?
得到 X、y 和 train_sizes 后,可以检查原始配置下各个训练子集的标签分布:
from sklearn.model_selection import StratifiedKFold
cv = StratifiedKFold(n_splits=10)
splits = list(cv.split(X, y))
max_train_size = min(len(train_idx) for train_idx, _ in splits)
sizes = np.unique(
(np.asarray(train_sizes) * max_train_size).astype(int)
)
print("All labels:", np.unique(y, return_counts=True))
for fold, (train_idx, test_idx) in enumerate(splits, start=1):
print(
"Fold:", fold,
"Validation labels:",
np.unique(y[test_idx], return_counts=True),
)
for size in sizes:
subset_idx = train_idx[:size]
print(
"Train size:", size,
"Train labels:",
np.unique(y[subset_idx], return_counts=True),
)
如果某个训练子集的标签只有 0,就找到了需要处理的子集。上述检查对应原始代码中未打乱训练索引的情况;启用打乱后,检查子集时也要使用相同的打乱方式。
仅凭报错文本无法确认数据的实际排列方式。完整 traceback 可以进一步帮助确认异常发生在预测响应处理还是评分函数内部。
如何修改代码?
保留已有的 X、y 和 model,将绘制部分改为:
from sklearn.model_selection import LearningCurveDisplay, StratifiedKFold
cv = StratifiedKFold(
n_splits=10,
shuffle=True,
random_state=0,
)
LearningCurveDisplay.from_estimator(
model,
X,
y,
train_sizes=[0.55, 0.78, 1.0],
cv=cv,
scoring="average_precision",
shuffle=True,
random_state=0,
error_score="raise",
line_kw={"marker": "o"},
)
plt.show()
两个 shuffle=True 分别控制交叉验证的折划分和学习曲线训练子集的抽样顺序。random_state=0 用于复现划分和抽样结果。
error_score="raise" 用于排查:评分失败时直接抛出异常,便于查看 traceback。它本身不能修复类别缺失。
如果打乱后仍出现单类别训练子集,可以增大最小 train_sizes。若必须保证每个训练规模都包含两类,需要自行循环各折和训练规模,在每个训练折内部进行分层抽样,再拟合模型并计算分数。learning_curve 的 shuffle=True 只负责随机打乱,无法提供这种保证。
还需要注意什么?
验证折缺少正类也需要检查,它与模型只学到 [0] 是不同的情况。对于通常的 average_precision_score 调用,y_true 没有正类会产生警告,并返回没有正类评估意义的结果。不能仅凭这条报错就断定是验证折缺少正类,应分别检查训练子集和验证折的标签分布,并根据少数类数量选择合适的 n_splits。
class_weight='balanced' 无法补充训练子集中不存在的类别。把正类改为 0 会改变评估目标,也不能修复缺少类别 1 的训练问题。
原始代码虽然调用了 train_test_split,但绘图时传入的是 X, y,因此学习曲线没有使用 X_train, y_train。如果打算保留独立测试集,应在划分时考虑 stratify=y,并只用 X_train, y_train 绘制学习曲线。
另外,问题展示的 load_dataset 函数体缺少缩进。如果实际代码也如此,需要先修正缩进,否则会先发生 IndentationError。
备注:内容仅供参考。
