是否了解Spark应用程序的耗时?

时间:2018-09-06 20:15:00

标签: amazon-web-services apache-spark amazon-emr

使用具有8个核心实例的c4.4xlarge配置,在群集模式下使用YARN在YARN上运行Spark应用程序,不确定如何确定应用程序实际运行了多长时间……这就是亚马逊所说的:

在“步骤”标签下:

  

火花申请已完成2018-09-06 07:25(UTC-6) 50分钟

在同一应用程序的应用程序历史记录/作业下,它列出了200个作业。所有工作的总时长约为 3分钟

应用程序历史记录/阶段下,对于同一火花应用程序,它列出了200个阶段。所有阶段的总时长约为 3分钟

在同一应用程序的应用程序历史记录/执行程序下,它列出了8个执行程序(其中一个是驱动程序)。所有任务时间的总和大约为 17小时,GC时间为 72分钟

因此,所有这些指标加起来都不超过 50分钟...。该应用程序真正需要花费多长时间才能运行?如何确定?

0 个答案:

没有答案