标签: apache-spark
spark.broadcast(var)的最大大小是多少,其中var是一个numpy数组? 我看到了这个https://issues.apache.org/jira/browse/SPARK-6235,但尚不清楚它是否适用于显式广播。
现在我看到MemError试图向120Gb机器广播5G。 我的用例是我想在两个巨大的矩阵之间进行余弦相似度。
我想播放其中一个。