Spark Sreaming：广播可变大小限制？

Question

我想使用broadcast variable in Spark Streaming，并根据上一个问题：Is there any limit on size of a spark broadcast variable? ，答案是Integer.MAX_VALUE的限制，这意味着2-3 GB。< / p>

我需要向所有映射器广播一个查找表（比如说 HashMap ），它可以加权到几GB（至少2）。

是否可能或限制大小阻止我以这种方式实施？