Apache Spark:关于日志记录的困惑

时间:2019-06-12 11:59:07

标签: apache-spark logging configuration-files

我研究了spark文档,但对日志记录感到困惑。如火花所说,有一个选项 SPARK_WORKER_DIR

  

要在其中运行应用程序的目录,其中包括日志和   暂存空间(默认值:SPARK_HOME / work)。

我在此路径(SPARK_HOME / work)上看到的是从spark-submit,stderr和stdout文件上传的jar文件。

SPARK_HOME / logs文件夹中还有一个 SPARK_LOG_DIR 选项,我不知道与那个有什么区别。该路径中的文件是out文件,如下所示(在slave1机器中):

spark-user-org.apache.spark.deploy.Master-1-master.out
spark-user-org.apache.spark.deploy.Master-1-master.out.1
spark-user-org.apache.spark.deploy.worker-1-slave1.out
spark-user-org.apache.spark.deploy.worker-1-slave1.out.1
spark-user-org.apache.spark.deploy.worker-1-slave1.out.2
...

所以,我的问题是:

1)这两个选项(SPARK_WORKER_DIR和SPARK_LOG_DIR)有什么区别?

2)为什么SPARK_HOME / logs路径上有多个单独的文件(out.1,out.2 ...),这些文件是从哪里来的?

0 个答案:

没有答案