并发 Spark 作业会共享同一个 broadcast 变量吗?
结论
不要把 F.broadcast(dim) 当成跨作业共享的全局缓存。对于多个独立的 Spark job,尤其是每个线程重新构造 fact.join(F.broadcast(dim), ...) 并触发 action 的场景,Spark 一般不会自动把不同 job 的广播合并成每个 executor 只保留一份。每个 job(或查询计划)里的 BroadcastExchange 往往对应独立的 broadcast 对象和 id,executor 上的 BlockManager 按 broadcast id 存广播块,所以并发期间可能同时存在多份 118 MB 的维度副本。
只有显式使用同一个 SparkContext.broadcast(...) 对象,并在多个 job 中复用它时,executor 上才可能按同一个 broadcast id 复用同一份块。dim.cache() 改变不了这一点:它缓存的是 DataFrame 分区,不是跨 job 的广播块。
原因
F.broadcast(dim) 是 DataFrame join 的 broadcast hint,物理计划中会变成 BroadcastExchange,然后在 join 侧使用 BroadcastHashJoin 或类似算子。每次独立 action 触发的新 job 会执行自己的查询计划;如果每个线程都新建 join DataFrame,就会产生新的 BroadcastExchangeExec。广播构建时,driver 会把广播侧数据收集起来分发给 executor,每个 broadcast 对象都有自己的 id。BlockManager 以 id 为键存储广播块,不同 id 不会因为数据内容相同就自动去重。
同一物理计划内部,Spark 的 ReuseExchange 等优化可能复用相同 exchange;同一个 BroadcastExchangeExec 的 relationFuture 也可能只构建一次。但这些复用主要发生在同一查询计划或同一 DataFrame 的多次 action 范围内,不能当成跨任意独立 job 的通用保证。AQE 默认也不会合并不同 job 的广播块。
dim.cache() 和 dim.count() 的作用是物化 DataFrame 分区。广播构建时如果读取这个 DataFrame,可能减少上游源表扫描,但广播数据仍要被收集到 driver 再分发。executor 上缓存的分区和广播块是两套数据,不能互相替代。
怎么确认
先看物理计划:
result.explain(True)
如果看到 BroadcastExchange、BroadcastHashJoin,说明广播 join 生效。再到 Spark UI 的 SQL 页面查看每个 job 的 BroadcastExchange,在 Storage 页面查看 Broadcast Blocks。并发运行时如果看到多个不同 broadcast id 的块,就说明没有跨 job 去重。
可行的处理方式
- 如果多个 source 能合并,优先合并后再 join,这样广播只会构建一次:
from pyspark.sql import functions as F
frames = []
for name, path in sources:
df = spark.read.parquet(path).withColumn('source_name', F.lit(name))
frames.append(df)
fact_all = frames[0]
for df in frames[1:]:
fact_all = fact_all.unionByName(df)
result = fact_all.join(
F.broadcast(dim),
join_condition,
'left'
)
result.write...
-
如果必须并发,控制同时活跃的 job 数量,并评估内存:118 MB 乘以每个 executor 上同时存在的广播份数,再叠加缓存和执行内存。15 个线程同时跑,不代表 15 份广播一定同时驻留,但峰值可能很高。
-
如果确实需要跨 job 复用同一份小维表,可以考虑显式
SparkContext.broadcast同一个对象,例如把维表收集成映射后广播给 UDF。但 118 MB 的 Python 字典在 driver 和 Python worker 上都有序列化/反序列化成本,通常不如 DataFrame 广播 join 合适。显式 broadcast 的代码示意:
dim_rows = dim.select('key', 'value').collect()
dim_map = {r['key']: r['value'] for r in dim_rows}
bc_dim = spark.sparkContext.broadcast(dim_map)
@F.udf('string')
def lookup(key):
return bc_dim.value.get(key)
fact = fact.withColumn('dim_value', lookup(F.col('key')))
使用完后可调用 bc_dim.unpersist(),但要注意仍在运行的 task 不要继续依赖它。
注意事项
F.broadcast(dim)不是跨 job 的缓存机制,不要依赖它自动去重。cache()不会减少广播副本数量,反而可能增加内存占用。- 并发广播大维表时,重点关注 driver 内存、executor 广播内存和
spark.sql.broadcastTimeout。超时相关配置在不同版本和集群中可能不同,应以实际 Spark 版本为准。 - 如果多个线程 action 同一个已经构建好的 DataFrame,可能复用同一物理计划中的广播构建;但这不是跨不同 join 计划的通用复用方式。
- 维表更新后,显式 broadcast 需要重新创建,否则会读到旧数据。
备注:内容仅供参考。
