pyspark显式广播的最大大小

时间:2018-09-22 12:41:22

标签: apache-spark

spark.broadcast(var)的最大大小是多少,其中var是一个numpy数组? 我看到了这个https://issues.apache.org/jira/browse/SPARK-6235,但尚不清楚它是否适用于显式广播。

现在我看到MemError试图向120Gb机器广播5G。 我的用例是我想在两个巨大的矩阵之间进行余弦相似度。

我想播放其中一个。

0 个答案:

没有答案