如何衡量在Spark上运行的查询的执行时间?

时间:2016-02-18 09:45:13

标签: apache-spark

我正在运行一个spark应用程序,它在给定一组地址作为输入的情况下动态获取坐标(lat和long)。我想知道spark处理每个地址所花费的时间,并在查询完成执行后返回结果。 我尝试通过在spark-defaults.conf文件中设置以下内容来记录事件:

spark.eventLog.enabled             true

spark.eventLog.dir                 file:///D:/eventLogging

运行应用程序后生成了事件日志文件。但是,我无法得到我想要的东西。 请有人帮我说明如何实现这一目标。 提前谢谢。

0 个答案:

没有答案