Spark:什么可能导致工人无所事事地无限期地运行

时间:2017-07-13 15:37:25

标签: java apache-spark dataframe

我已经完成了我的程序似乎工作正常,但是当我用一些Gb启动它时,我经常会遇到问题一段时间。

当我继续使用myhost:7080时,我可以看到应用程序正在运行并正在完成,但突然它停止前进,其中一个应用程序仍在运行。有'没有别的事情发生。

这可能发生在任何阶段。有时需要5分钟,有时需要50分钟,有时甚至会在70分钟后完成。

通常,当它发生时,我的putty会话显示弹出窗口,告知连接有错误并变为非活动状态。

知道问题可能来自哪里?

1 个答案:

答案 0 :(得分:0)

您是否正在运行Spark作业,或者您正在运行spark作为Hive的执行引擎?我遇到了同样的问题,即火花作业挂起/花费很长时间,当它被用作蜂巢的执行引擎时。你能分享更多细节吗?

您的群集配置是什么?