Spark 从 JSON 字符串列高效提取单个字段(80–100 亿行)
结论:在 80 亿到 100 亿行的数据规模下,如果只提取一个顶层字段,优先用内置的 get_json_object,不要用 UDF。from_json 更适合一次解析多个字段,或者需要强类型结构的场景;只取一个字段时,它通常不会明显更快。contains 预检查只有在很大比例的行都不含目标 key 时,才可能减少解析,而且它本身也要扫描字符串,所以不能当成通用优化。regexp_extract 在格式严格可控时可能更快,但安全性不如 JSON 解析器。实际瓶颈往往还包括 shuffle 和重复解析。
推荐写法
现在先聚合再解析的结构是合理的,因为同一个 meta_json 重复出现时,解析次数会减少:
import org.apache.spark.sql.functions._
val result = df
.groupBy("event_date", "item_key", "meta_json")
.agg(sum("qty").as("total_qty"))
.withColumn("label", get_json_object(col("meta_json"), "$.label"))
get_json_object 是 Spark SQL 内置表达式,省掉了 UDF 的序列化和调用开销;meta_json 为 null 或缺少字段时返回 null。只取一个字段时,它通常比 from_json 更直接。from_json 适合一次取多个字段:
val schema = "label STRING, rule STRING"
val result2 = df
.withColumn("json", from_json(col("meta_json"), schema))
.select("event_date", "item_key", "meta_json", "qty", "json.label", "json.rule")
如果只需要 label,不要因为觉得可能更快就默认解析完整 schema,应该在真实样本上对比。
预检查要谨慎
用 contains 先判断字符串里有没有 label 字面量,再调用 get_json_object,只有在绝大多数行不含目标 key 时,才可能减少 JSON 解析;如果大多数行都含目标 key,反而多扫一遍字符串。它还容易误判,因为 label 字面量也可能出现在 value 或嵌套 JSON 里。
regexp_extract 只适合强约束数据
regexp_extract 可能更轻量,但遇到转义引号、反斜杠、Unicode 转义、嵌套 key、重复 key 或非法 JSON 时容易出错。只有在确认 meta_json 由受控系统生成、label 一定是顶层简单字符串时才用,并且保留 JSON 解析作为回退。
更值得做的优化
-
如果最终不需要
meta_json,可以先提取label,再按event_date、item_key、label聚合,避免把长 JSON 作为 group key:val result = df .withColumn("label", get_json_object(col("meta_json"), "$.label")) .groupBy("event_date", "item_key", "label") .agg(sum("qty").as("total_qty"))注意,这会改变输出粒度;如果多个
meta_json对应同一个label,结果会和原查询不同。 -
如果这份数据会被反复查询,最有效的办法是在写入时物化
label,后续直接读这一列,不用每次解析 JSON。 -
只选必要列,尽早过滤 null 或无关行。
-
在 8 亿到 10 亿行下,
groupBy的 shuffle 可能比解析更贵。开启 AQE,并按集群调整 shuffle 分区数,不要照搬固定值:spark.conf.set("spark.sql.adaptive.enabled", "true") spark.conf.set("spark.sql.adaptive.coalescePartitions.enabled", "true") spark.conf.set("spark.sql.shuffle.partitions", "2000")最后这个数值只是示例,必须根据数据量和集群资源调整。
-
避免 UDF;同一个 JSON 要取多个字段时,优先一次
from_json成 struct 后复用,不要反复调用get_json_object。
建议用包含有 key、无 key、null、转义字符和嵌套 JSON 的真实样本做端到端对比,并结合 explain(true) 和 Spark UI 观察 shuffle 和解析表达式的耗时,再决定是否替换解析函数。
备注:内容仅供参考。
