如何衡量Spark GraphX应用程序的执行时间？

Question

使用Graphx查找程序总执行时间的最可靠方法是，最好是使用历史记录服务器还是使用System.currentTimeMillis()或其他程序的程序使用变量？

Answer 1

测量Spark GraphX应用程序的执行时间与测量任何其他Spark应用程序的性能没有什么不同。

我强烈建议在Spark应用程序启动并运行时使用Web UI，然后再使用Spark History Server。

您还可以使用SparkListener构建类似于Web UI的内容（在所有Web UI只是一堆SparkListeners之后）。

System.currentTimeMillis()也会起作用，但是如果几乎所有（如果不是全部？）已经在Spark中可用，为什么要重新发明轮子？