Apache Spark广播错误：发送消息时出错，因为driverActor为null [message = UpdateBlockInfo（BlockManagerId

Question

我正在使用Apache Spark 1.1.0，我目前遇到广播方法问题。因此，当我将一个小数据集上的广播函数调用到5节点集群时，我在多次广播变量（在jboss下运行的应用程序）后遇到“错误发送消息，因为driverActor为空”。

任何帮助都会受到赞赏。

Answer 1

通过在应用程序中停止重启SparkContext（在wildfly中运行）已解决此问题，因为actor系统在此spark版本中未正常关闭。