如何在hadoop集群中监控长时间运行的作业？

Question

如何监控hadoop集群中长时间运行的作业？哪些可能性适用于长期工作？以及如何克服这个问题？

Answer 1

您可以通过跟踪提交作业后将获得的作业URL来监控YARN群集上正在运行的所有作业。

您还可以使用资源管理器Web UI监控Hive作业状态。访问localhost：8088，在这里您可以看到在该会话中提交给YARN群集的所有作业的列表。

可以遵循一些提示来优化您的Hive查询。您可以参考to this blog了解有关优化配置单元查询的更多详细信息。