标签: apache-spark logging pyspark executor
我已经阅读了几篇博客以及关于worker / executor日志的spark文档,它们都表明默认情况下的日志,以及stderr和stdout分别存储在$ SPARK_HOME / logs和$ SPARK_HOME / work中。我在主节点和辅助节点上都找不到目录。
我有一个具有一个主节点和三个工作节点的Spark集群。
我们是否需要在start-master.sh中添加日志的路径?