R 中如何将 DocumentTermMatrix 转换为 data.frame?
先用 as.matrix() 将 AssociatedPress 转为普通矩阵,再用 as.data.frame() 转为数据框。输出中的 Weighting : term frequency (tf) 表明现有数值已是词频,无须再次加权。
library(tm)
data("AssociatedPress", package = "topicmodels")
dtm_matrix <- as.matrix(AssociatedPress)
dtm_df <- as.data.frame(dtm_matrix, check.names = FALSE)
为什么直接转换会报错?
AssociatedPress 是 DocumentTermMatrix,底层使用 simple_triplet_matrix 稀疏存储结构,并非 tibble。
报错表示当前转换没有找到适用的 as.data.frame() 方法。先用 as.matrix() 将对象展开为普通矩阵,就可以进一步转为 data.frame。
as_data_frame() 被弃用的警告与类型转换失败是两个问题。单纯把函数名改为 as_tibble(),无法解决这里的稀疏对象转换问题。
转换后如何对应文档和词项?
转换后,矩阵的方向不变:每行对应一个文档,每列对应一个词项。单元格数值表示该词项在该文档中出现的次数,未出现时为 0。
根据题目给出的维度,结果应有 2246 行、10473 列。可以检查维度,再查看前几个文档和词项:
dim(dtm_df)
head(dtm_df[, seq_len(6), drop = FALSE])
# 查看文档标识和词项名称
head(rownames(dtm_df))
head(colnames(dtm_df))
check.names = FALSE 用于保留原始词项列名,避免 as.data.frame() 自动将其修改为合法的 R 变量名。访问含特殊字符的列名时,可以使用 dtm_df[["词项名称"]]。
如果只需要普通的 Document-Term frequency matrix,使用 dtm_matrix 即可;需要 data.frame 时再使用 dtm_df。
如果还需要 tibble
完成上述转换后,可以继续调用 as_tibble()。由于 tibble 不用行名保存文档标识,可以将行名转为显式列:
dtm_tbl <- tibble::as_tibble(
dtm_df,
rownames = "document_id",
.name_repair = "unique"
)
document_id 列保存原行名。如果它与某个词项列名冲突,.name_repair = "unique" 会调整重复列名。
注意稀疏矩阵展开后的内存开销
原对象的 Sparsity 为 99%,只有 302031 个非零条目。as.matrix() 会为全部 2246 × 10473 个位置分配空间,包括原本没有显式存储的零值。再转换为 data.frame 时,还可能产生额外分配。
如果后续操作支持 DocumentTermMatrix,可以直接保留原对象。如果只是查看局部数据,先截取子集再转换会更节省内存:
preview_df <- as.data.frame(
as.matrix(AssociatedPress[1:6, 1:6]),
check.names = FALSE
)
备注:内容仅供参考。
