如何在本地模式下使用Spark进行日志记录？

Question

在本地模式下工作时，是否可以在Apache Spark中对某个路径进行日志记录（将作为输入参数提供）？

val conf = new SparkConf().
  setAppName("SparkProgrammingGuide").
  setMaster(master).
  set("spark.eventLog.enabled", "true").
  set("spark.eventLog.dir", "file:///home/USER")
val sc = new SparkContext(conf)

Answer 1

此问题已在评论中得到回答，并经过独立验证。

@Rohan的原始答案

您可以通过以下方式启用事件日志记录和路径配置 SparkContext使用以下属性名称： spark.eventLog.enabled和spark.eventLog.dir。有关的文档 可以找到here。

@Yudovin的确认

我已使用spark.eventLog.dir参数在本地模式下运行spark 带有日志的文件已创建。可以使用Spark History Server 用于查看和分析这些日志。