Spark为工作中的每个任务都有不同的日志

Question

是否可以在单个工作程序中为任务提供不同的日志文件？ 现在，我将所有日志记录在worker中的同一文件中（针对不同的任务）。

我使用的是spark-standalone，日志目录位于SPARK_HOME / work

Answer 1

您可以通过SPARK_WORKER_DIR配置文件为每个工作人员配置spark-env.sh。通过更改此设置，它将更改默认情况下输出日志的位置。

有关详细信息，请参阅deployment documentation。