我研究了spark文档,但对日志记录感到困惑。如火花所说,有一个选项 SPARK_WORKER_DIR :
要在其中运行应用程序的目录,其中包括日志和 暂存空间(默认值:SPARK_HOME / work)。
我在此路径(SPARK_HOME / work)上看到的是从spark-submit,stderr和stdout文件上传的jar文件。
SPARK_HOME / logs文件夹中还有一个 SPARK_LOG_DIR 选项,我不知道与那个有什么区别。该路径中的文件是out文件,如下所示(在slave1机器中):
spark-user-org.apache.spark.deploy.Master-1-master.out
spark-user-org.apache.spark.deploy.Master-1-master.out.1
spark-user-org.apache.spark.deploy.worker-1-slave1.out
spark-user-org.apache.spark.deploy.worker-1-slave1.out.1
spark-user-org.apache.spark.deploy.worker-1-slave1.out.2
...
所以,我的问题是:
1)这两个选项(SPARK_WORKER_DIR和SPARK_LOG_DIR)有什么区别?
2)为什么SPARK_HOME / logs路径上有多个单独的文件(out.1,out.2 ...),这些文件是从哪里来的?