$ SPARK_HOME / work和$ SPARK_HOME / logs不存在

时间:2019-07-23 13:02:17

标签: apache-spark logging pyspark executor

我已经阅读了几篇博客以及关于worker / executor日志的spark文档,它们都表明默认情况下的日志,以及stderr和stdout分别存储在$ SPARK_HOME / logs和$ SPARK_HOME / work中。我在主节点和辅助节点上都找不到目录。

我有一个具有一个主节点和三个工作节点的Spark集群。

我们是否需要在start-master.sh中添加日志的路径?

0 个答案:

没有答案