Spark History Server卡住了加载

Question

当我运行 Spark History Server 时，我可以访问http://<master IP address>:18080处的网络界面。如果我在作业运行时运行Spark作业并尝试访问http://<master IP address>:18080/?showIncomplete=true，则屏幕将按照以下屏幕截图挂起：

作业完成后，我可以访问http://<master IP address>:18080/?showIncomplete=true但无法再访问http://<master IP address>:18080/?showIncomplete=false。

我可以随时访问http://<master IP address>:18080/api/v1/applications。

为什么会这样？

Answer 1

这通常是由于Spark历史记录服务器上的资源限制所致。尝试通过加倍增加内存（JAVA_HEAP等）和cpus。另外，请确保不要过度分配资源。