在没有Spark UI的情况下监控AWS EMR中的火花簇

Question

我正在AWS EMR上运行一个spark群集。如何在不使用spark UI的情况下获取AWS EMR上运行的作业和执行程序的所有详细信息。我将用它进行监控和优化。

Answer 1

你可以检查nagios或神经节的群集健康状况，但你不能看到使用这些工具在spark上运行的作业。

Answer 2

如果您使用的是AWS EMR，则可以使用lynx服务器执行此操作。如下所示。

1. 登录群集的主节点。

2. 尝试以下命令

   lynx http://localhost:4040

注意：在键入命令之前，请确保您正在运行作业