ODS 写入 DWD 新 Hudi 表前，是否应删除 _hoodie_ 元数据列？

建议在写入独立的 DWD Hudi 表之前，从待写入的 DataFrame 中删除题目列出的五个源表元数据字段，并根据 DWD 的业务粒度配置 record key、分区字段和记录合并所需的排序字段。如果需要追踪来源，可以先将源元数据复制到名称明确的普通字段中。

这是针对跨表 ETL 的工程建议，并不意味着不删除这些字段就一定会写入失败。题目中的 v0.x.x 没有说明具体版本，无法据此断言所有 Hudi 0.x 写入路径会如何处理已有的元数据列。

为什么建议清理源表元数据

这些字段描述的是记录在源 Hudi 表中的存储和提交信息：

字段定义见 Hudi 0.x 技术规范。源表的提交标识和文件名不能直接解释为目标表的信息。经过聚合、拆分或分区转换后，源表的记录键和分区路径也未必适合 DWD。

将源元数据从写入数据中移除，可以让 DWD 的字段边界更清楚。正常启用元数据字段填充时，目标表的元数据由 Hudi 写入过程维护。

至于 schema 冲突和元数据生成干扰，不能仅凭 DataFrame 中存在这些列就断定一定会发生。Hudi 官方 Spark 示例中也有读取表后直接更新并写回的用法，可见携带元数据列本身并不一定构成错误。参见 Hudi 0.14.1 Spark Guide。

Spark/Scala 中如何处理

可以显式删除已知的五列。下面假设业务转换已经完成，transformedDF 中保留了 DWD 所需的业务字段：

val sourceMetaColumns = Seq(
  "_hoodie_commit_time",
  "_hoodie_commit_seqno",
  "_hoodie_record_key",
  "_hoodie_partition_path",
  "_hoodie_file_name"
)

val dwdDF = transformedDF.drop(sourceMetaColumns: _*)

drop 会返回新的 DataFrame，后续写入时需要使用这个返回值。如果 DWD 的字段集合已经确定，也可以通过显式 select 只保留目标表需要的列。

以下示例假设 DWD 中存在 id、dt、update_ts 三个业务字段，分别作为记录键、分区字段和 precombine 字段。字段名和路径需要替换为实际值：

val dwdPath = "/data/hudi/dwd_example"

val hudiOptions = Map(
  "hoodie.table.name" -> "dwd_example",
  "hoodie.datasource.write.table.type" -> "COPY_ON_WRITE",
  "hoodie.datasource.write.operation" -> "upsert",
  "hoodie.datasource.write.recordkey.field" -> "id",
  "hoodie.datasource.write.partitionpath.field" -> "dt",
  "hoodie.datasource.write.precombine.field" -> "update_ts"
)

dwdDF.write
  .format("hudi")
  .options(hudiOptions)
  .mode("append")
  .save(dwdPath)

这些配置可参考 Hudi 0.14.1 配置文档。实际使用时需核对对应版本的文档，并确认示例中的分区表设计、upsert 和 precombine 字段与业务需求一致。

删除前需要确认什么

1. DWD 的记录键需要能够从业务字段生成。如果现有流程依赖 _hoodie_record_key，应先明确如何保留或重新构造目标键，不要在删除后继续依赖它生成记录标识。
2. 目标分区字段需要保留或在转换中生成。_hoodie_partition_path 是源表的分区路径，不等同于目标表配置所引用的业务分区列。
3. 排序字段应符合业务更新顺序。不要直接把源表的 _hoodie_commit_time 当作业务事件时间；它表示源表提交信息，是否适合排序取决于业务语义。
4. 如果增量流程需要源提交信息进行审计或维护处理进度，应在删除前提取这些信息。清理写入列不会自动管理增量读取进度。

如果需要在 DWD 中查询源提交标识，可以在清理前复制一列：

import org.apache.spark.sql.functions.col

val dwdWithLineage = transformedDF
  .withColumn("ods_commit_time", col("_hoodie_commit_time"))
  .drop(sourceMetaColumns: _*)

ods_commit_time 会作为普通来源追踪字段保留，表示 ODS 的提交标识，不应解释为 DWD 的提交时间。

为什么有些示例没有删除

有些示例可能是在同一张表上更新数据，也可能已经通过 select 排除了元数据列，或者依赖特定版本写入器的处理行为。仅凭示例中没有出现 drop，无法判断它是否适用于独立 DWD 表。

对于题目中的场景，可以默认显式清理源表元数据，并显式配置目标表的键和分区。写入后重新读取 DWD，确认元数据反映的是目标表的提交和存储信息，再检查相同业务键重复写入时是否符合预期。

备注：内容仅供参考。