AWS Spark作业监视工具

时间:2018-09-17 18:16:30

标签: amazon-web-services apache-spark pyspark monitoring

我有一个AWS集群,其中包含12个节点,每个8个核心和一个主节点。在浏览器中,在HUE-> jobs中有4个spark作业正在运行,有3个Zeppelin笔记本,其中一个是我从命令行运行的python脚本(pyspark)。脚本抱怨此消息:“警告Warn YarnScheduler:初始作业未接受任何资源;请检查您的集群UI,以确保工作人员已注册并有足够的资源”。所以我的问题是:是否有办法查看正在运行的作业消耗了哪些资源(内核,RAM)?为此我可以使用哪些工具? 我在主节点上运行linux“ htop”命令,它当然显示了许多可用的内核和许多未使用的RAM,但是我需要一个工具来查看节点上的负载。 我从Zeppelin笔记本中找到了SparkUI的链接,该链接仅显示与Zeppelin相关的作业,但不是全部(命令行作业不存在,Jupyter笔记本也不存在,等等)。 HUE显示了所有正在运行的作业的列表,但是无法查看每个作业创建的资源负载。 有显示此信息的工具吗?

0 个答案:

没有答案