我正在Google Dataproc上运行MLLIb Spark作业。这些作业是计算密集型的,需要20多个分钟才能完成。
但是,当我转到“集群详细信息” Web UI时,以图形形式显示“ cpu利用率”时,除了“此时间间隔无数据”消息外,我什么都没得到我选择的时间间隔。
对我来说,这是一个完全无法使用的用户界面。不仅对我来说,而且对公司中与Dataproc合作的其他人也是如此。
关于可能发生的事情的任何想法?可能是一些时区问题?
答案 0 :(得分:1)
有一个disruption on Dec 21 for GCS与Cloud Functions和Cloud Build有关,而不是与Dataproc有关,不确定这是否影响了Dataproc,但是根据快速test in my Console,今天看来一切正常您介意确定问题是否仍然存在?
请记住,如果实例长时间停止运行,很可能是消息“此时间间隔内无数据”的原因,那么当我关闭集群6个小时时,我会得到完全相同的消息。
另一方面,即使控制台中的CPU使用率可能是监视Dataproc集群的不错选择,我还是强烈建议您检查YARN UI,以更深入地了解集群的使用情况。