标签： apache-spark global-variables broadcast
我正在尝试使用spark broadcast来测量我可以广播的变量的最大大小。
我没有找到关于这个问题的任何解释。
答案 0 :(得分：1)
广播限制现在已增加到8 GB。您可以找到详细信息here。
答案 1 :(得分：0)
目前约为2GB。您播放的任何内容在序列化期间都会转换为java字节数组，并且由于java数组的最大大小为Integer.MAX_VALUE，因此您将获得此限制。目前可能会增加此限制：SPARK-6235