我编写了一个火花作业以在本地模式下运行但是当我提交该作业时,我在纱线群集模式下运行它。在这种情况下到底发生了什么?

时间:2016-09-08 06:45:44

标签: apache-spark machine-learning bigdata

我看到状态为ACCEPTED。它不会改变为RUNNING状态。超时后失败。我附上的图像显示完全相同。在工作中我一直在Cassandra表中保存一些数据。作业没有进入RUNNING状态,但是表格正在更新,直到作业没有超时。我无法理解幕后发生了什么。enter image description here

1 个答案:

答案 0 :(得分:0)

尝试使用master作为本地

运行应用程序
spark-submit --master local[2] application

也许您的默认配置将在纱线群集上运行应用程序。由于纱线簇没有初始化,因此它给出了NullpointException。