如何计算 caret 的 train 对象的 conditional variable importance?
结论
对于题中含 NA 的模型,提取 $finalModel 或换用 partykit::varimp() 都不能直接解决问题。第一个报错源于重要性计算对缺失值的限制,第二个源于模型对象与所调用函数所属的包不匹配。
如果可以接受插补缺失值,可以在 caret::train() 中加入预处理,重新拟合模型,再用 party::varimp(..., conditional = TRUE) 计算。得到的 conditional variable importance 属于插补后的模型,不能作为原来保留 NA 的模型的重要性结果。
为什么会出现两个错误?
party::varimp() 拒绝含缺失值的数据
第一个报错显示,caret::varImp() 调用了 party::varimp():
Error in party::varimp(object, ...) :
cannot compute variable importance measure with missing values
na.action = na.pass 让 NA 继续传入拟合过程,既不会填补缺失值,也不会改变后续重要性函数处理缺失值的能力。模型能用含 NA 的数据完成训练,重要性计算函数未必也支持这些数据。
因此,直接对这个模型执行以下代码,仍会遇到缺失值限制:
party::varimp(cforet_model$finalModel, conditional = TRUE)
partykit::varimp() 没有匹配的对象方法
第二个报错说明,传入的对象类名为 "RandomForest",当前调用的 partykit::varimp() 没有适用于它的方法:
no applicable method for 'varimp' applied to an object of class "RandomForest"
在题示调用路径中,caret 使用的是 party 的 cforest 实现。party 和 partykit 中的函数名称相似,但它们未必能直接处理彼此产生的模型对象。
可以先检查模型和当前环境:
class(cforet_model)
class(cforet_model$finalModel)
caret::getModelInfo("cforest", regex = FALSE)[[1]]$library
sessionInfo()
应根据 $finalModel 的实际类型选择函数。不要手动修改 class() 来绕过方法分派,因为模型内部结构不会随类名一起转换。
使用插补后重新训练
示例中的自变量是数值型,可以使用 preProcess = "medianImpute"。保留 na.action = na.pass,让含 NA 的数据进入预处理步骤。
library(caret)
data(iris)
set.seed(5978)
iris$Sepal.Length[sample(1:nrow(iris), 10)] <- NA
set.seed(5978)
cforest_imputed <- caret::train(
Species ~ .,
data = iris,
method = "cforest",
na.action = na.pass,
preProcess = "medianImpute",
trControl = caret::trainControl(
method = "cv",
number = 5
)
)
# Use the importance function matching the fitted model.
# This call assumes finalModel is party's RandomForest object.
class(cforest_imputed$finalModel)
set.seed(5978)
importance <- party::varimp(
cforest_imputed$finalModel,
conditional = TRUE
)
sort(importance, decreasing = TRUE)
这个示例适用于题中由 party 生成 "RandomForest" 对象的实现。如果安装环境中的 caret 模型定义不同,应先根据前面的检查结果确认模型来源。
将插补放在 train() 内部,交叉验证中的每个训练折会分别估计插补参数,避免先对全部数据插补再交叉验证造成的数据泄漏。最终模型使用全部训练数据估计的预处理参数。预测新数据时,应使用完整的 train 对象:
predict(cforest_imputed, newdata = new_data)
这样 caret 会应用训练时保存的预处理。
如果必须保留原始 NA
如果要求保持原模型及其缺失值处理方式不变,上面的重新训练方案不符合要求。题示报错表明,当前的 party::varimp() 调用无法完成这项计算。
如果考虑改用 partykit,需要先核对安装版本中 cforest() 与 varimp() 对缺失值及 conditional = TRUE 组合的支持情况,再用对应实现重新拟合。仅将函数替换为 partykit::varimp(),无法使它兼容现有的 party 模型。
也可以删除缺失行后重新训练,但这会改变训练样本,缺失机制还可能使保留下来的样本产生选择偏差。选择插补还是删除,需要考虑数据的含义,不能只看能否消除报错。
conditional variable importance 不保证消除缺失值偏倚
Strobl 2008 中的 conditional variable importance 主要针对预测变量相关性对置换重要性解释的影响,通过条件置换评估变量贡献,不能直接等同于“对含缺失值的变量无偏”。
缺失机制、插补方式以及模型如何使用缺失信息,都可能影响变量重要性。插补后得到的分数应解释为该预处理和模型组合下的结果。重要性计算还包含随机置换,设置 set.seed() 有助于复现;单次排序也不应直接解释为因果关系。
备注:内容仅供参考。
