PAYATHON 2026

并发 Spark 作业会共享同一个 broadcast 变量吗?

数据小陈

结论

不要把 F.broadcast(dim) 当成跨作业共享的全局缓存。对于多个独立的 Spark job,尤其是每个线程重新构造 fact.join(F.broadcast(dim), ...) 并触发 action 的场景,Spark 一般不会自动把不同 job 的广播合并成每个 executor 只保留一份。每个 job(或查询计划)里的 BroadcastExchange 往往对应独立的 broadcast 对象和 id,executor 上的 BlockManager 按 broadcast id 存广播块,所以并发期间可能同时存在多份 118 MB 的维度副本。

只有显式使用同一个 SparkContext.broadcast(...) 对象,并在多个 job 中复用它时,executor 上才可能按同一个 broadcast id 复用同一份块。dim.cache() 改变不了这一点:它缓存的是 DataFrame 分区,不是跨 job 的广播块。

原因

F.broadcast(dim) 是 DataFrame join 的 broadcast hint,物理计划中会变成 BroadcastExchange,然后在 join 侧使用 BroadcastHashJoin 或类似算子。每次独立 action 触发的新 job 会执行自己的查询计划;如果每个线程都新建 join DataFrame,就会产生新的 BroadcastExchangeExec。广播构建时,driver 会把广播侧数据收集起来分发给 executor,每个 broadcast 对象都有自己的 id。BlockManager 以 id 为键存储广播块,不同 id 不会因为数据内容相同就自动去重。

同一物理计划内部,Spark 的 ReuseExchange 等优化可能复用相同 exchange;同一个 BroadcastExchangeExec 的 relationFuture 也可能只构建一次。但这些复用主要发生在同一查询计划或同一 DataFrame 的多次 action 范围内,不能当成跨任意独立 job 的通用保证。AQE 默认也不会合并不同 job 的广播块。

dim.cache() 和 dim.count() 的作用是物化 DataFrame 分区。广播构建时如果读取这个 DataFrame,可能减少上游源表扫描,但广播数据仍要被收集到 driver 再分发。executor 上缓存的分区和广播块是两套数据,不能互相替代。

怎么确认

先看物理计划:

result.explain(True)

如果看到 BroadcastExchange、BroadcastHashJoin,说明广播 join 生效。再到 Spark UI 的 SQL 页面查看每个 job 的 BroadcastExchange,在 Storage 页面查看 Broadcast Blocks。并发运行时如果看到多个不同 broadcast id 的块,就说明没有跨 job 去重。

可行的处理方式

  1. 如果多个 source 能合并,优先合并后再 join,这样广播只会构建一次:
from pyspark.sql import functions as F

frames = []
for name, path in sources:
    df = spark.read.parquet(path).withColumn('source_name', F.lit(name))
    frames.append(df)

fact_all = frames[0]
for df in frames[1:]:
    fact_all = fact_all.unionByName(df)

result = fact_all.join(
    F.broadcast(dim),
    join_condition,
    'left'
)
result.write...
  1. 如果必须并发,控制同时活跃的 job 数量,并评估内存:118 MB 乘以每个 executor 上同时存在的广播份数,再叠加缓存和执行内存。15 个线程同时跑,不代表 15 份广播一定同时驻留,但峰值可能很高。

  2. 如果确实需要跨 job 复用同一份小维表,可以考虑显式 SparkContext.broadcast 同一个对象,例如把维表收集成映射后广播给 UDF。但 118 MB 的 Python 字典在 driver 和 Python worker 上都有序列化/反序列化成本,通常不如 DataFrame 广播 join 合适。显式 broadcast 的代码示意:

dim_rows = dim.select('key', 'value').collect()
dim_map = {r['key']: r['value'] for r in dim_rows}
bc_dim = spark.sparkContext.broadcast(dim_map)

@F.udf('string')
def lookup(key):
    return bc_dim.value.get(key)

fact = fact.withColumn('dim_value', lookup(F.col('key')))

使用完后可调用 bc_dim.unpersist(),但要注意仍在运行的 task 不要继续依赖它。

注意事项

  • F.broadcast(dim) 不是跨 job 的缓存机制,不要依赖它自动去重。
  • cache() 不会减少广播副本数量,反而可能增加内存占用。
  • 并发广播大维表时,重点关注 driver 内存、executor 广播内存和 spark.sql.broadcastTimeout。超时相关配置在不同版本和集群中可能不同,应以实际 Spark 版本为准。
  • 如果多个线程 action 同一个已经构建好的 DataFrame,可能复用同一物理计划中的广播构建;但这不是跨不同 join 计划的通用复用方式。
  • 维表更新后,显式 broadcast 需要重新创建,否则会读到旧数据。

备注:内容仅供参考。