如何使用创建的spark jobserver上下文保留每个作业的日志文件

时间:2017-04-20 19:55:28

标签: apache-spark spark-jobserver

我曾经从server_start.sh运行spark job server,它带有log4j中指定的默认分配上下文的日志文件。

但是,当我运行以下命令时创建了上下文

curl -d"" ' myhost.com:8090 /上下文/我的上下文NUM-CPU核芯= 4和; MEM-每个节点=512米'

我没有记录器看到我手动创建的上述上下文的日志文件。我可以知道在哪里可以找到日志文件,或者在创建上下文时如何指定以使日志文件成为预期的位置?

设置& context-per-jvm = true后。我找到了每个工作的日志文件。但是,它很快就会被删除。我是否知道是否有办法在特定的时间段内保留每个作业的日志文件?

0 个答案:

没有答案