在spark集群上运行spark程序时,我收到消息说错误初始化spark上下文后跟错误说不能在停止的spark上下文中调用方法。有时在运行相同的作业时,它会成功运行而不会出错。
这不会永远发生。有时候工作运行正常,而在其他时候,它给出了上述信息。我尝试使用命令./stop-all.sh和./start-all.sh重启spark。我试着检查它说成功启动火花的日志。这个偶然的错误消息可能是什么问题。它可能与磁盘空间或任何其他原因有关吗?
谢谢......答案 0 :(得分:0)
由于节点中的磁盘空间已满,似乎已发生此问题。我现在没有得到这个错误。清理不需要的文件似乎解决了它的问题。