我正在运行一个spark应用程序,它在给定一组地址作为输入的情况下动态获取坐标(lat和long)。我想知道spark处理每个地址所花费的时间,并在查询完成执行后返回结果。 我尝试通过在spark-defaults.conf文件中设置以下内容来记录事件:
spark.eventLog.enabled true
spark.eventLog.dir file:///D:/eventLogging
运行应用程序后生成了事件日志文件。但是,我无法得到我想要的东西。 请有人帮我说明如何实现这一目标。 提前谢谢。