PAYATHON 2026

Spark 从 JSON 字符串列高效提取单个字段(80–100 亿行)

数据小陈

结论:在 80 亿到 100 亿行的数据规模下,如果只提取一个顶层字段,优先用内置的 get_json_object,不要用 UDF。from_json 更适合一次解析多个字段,或者需要强类型结构的场景;只取一个字段时,它通常不会明显更快。contains 预检查只有在很大比例的行都不含目标 key 时,才可能减少解析,而且它本身也要扫描字符串,所以不能当成通用优化。regexp_extract 在格式严格可控时可能更快,但安全性不如 JSON 解析器。实际瓶颈往往还包括 shuffle 和重复解析。

推荐写法

现在先聚合再解析的结构是合理的,因为同一个 meta_json 重复出现时,解析次数会减少:

import org.apache.spark.sql.functions._

val result = df
  .groupBy("event_date", "item_key", "meta_json")
  .agg(sum("qty").as("total_qty"))
  .withColumn("label", get_json_object(col("meta_json"), "$.label"))

get_json_object 是 Spark SQL 内置表达式,省掉了 UDF 的序列化和调用开销;meta_json 为 null 或缺少字段时返回 null。只取一个字段时,它通常比 from_json 更直接。from_json 适合一次取多个字段:

val schema = "label STRING, rule STRING"

val result2 = df
  .withColumn("json", from_json(col("meta_json"), schema))
  .select("event_date", "item_key", "meta_json", "qty", "json.label", "json.rule")

如果只需要 label,不要因为觉得可能更快就默认解析完整 schema,应该在真实样本上对比。

预检查要谨慎

用 contains 先判断字符串里有没有 label 字面量,再调用 get_json_object,只有在绝大多数行不含目标 key 时,才可能减少 JSON 解析;如果大多数行都含目标 key,反而多扫一遍字符串。它还容易误判,因为 label 字面量也可能出现在 value 或嵌套 JSON 里。

regexp_extract 只适合强约束数据

regexp_extract 可能更轻量,但遇到转义引号、反斜杠、Unicode 转义、嵌套 key、重复 key 或非法 JSON 时容易出错。只有在确认 meta_json 由受控系统生成、label 一定是顶层简单字符串时才用,并且保留 JSON 解析作为回退。

更值得做的优化

  1. 如果最终不需要 meta_json,可以先提取 label,再按 event_date、item_key、label 聚合,避免把长 JSON 作为 group key:

    val result = df
      .withColumn("label", get_json_object(col("meta_json"), "$.label"))
      .groupBy("event_date", "item_key", "label")
      .agg(sum("qty").as("total_qty"))

    注意,这会改变输出粒度;如果多个 meta_json 对应同一个 label,结果会和原查询不同。

  2. 如果这份数据会被反复查询,最有效的办法是在写入时物化 label,后续直接读这一列,不用每次解析 JSON。

  3. 只选必要列,尽早过滤 null 或无关行。

  4. 在 8 亿到 10 亿行下,groupBy 的 shuffle 可能比解析更贵。开启 AQE,并按集群调整 shuffle 分区数,不要照搬固定值:

    spark.conf.set("spark.sql.adaptive.enabled", "true")
    spark.conf.set("spark.sql.adaptive.coalescePartitions.enabled", "true")
    spark.conf.set("spark.sql.shuffle.partitions", "2000")

    最后这个数值只是示例,必须根据数据量和集群资源调整。

  5. 避免 UDF;同一个 JSON 要取多个字段时,优先一次 from_json 成 struct 后复用,不要反复调用 get_json_object。

建议用包含有 key、无 key、null、转义字符和嵌套 JSON 的真实样本做端到端对比,并结合 explain(true) 和 Spark UI 观察 shuffle 和解析表达式的耗时,再决定是否替换解析函数。

备注:内容仅供参考。