Spark在哪里设置“ spark.yarn.app.container.log.dir”配置?

时间:2019-11-28 14:49:48

标签: apache-spark yarn

我试图为Spark指向位置,以便写入日志文件(使用log4j)。在docs出现火花时,它说为了从纱线中收集原木,我必须设置该属性。但是我在spark-default.conf和yarn-site.xml中都找不到'spark.yarn.app.container.log.dir'属性。所以我的问题是;

1-)在何处设置此属性?

2-)是否有默认值?(以便正确地被纱线收集)

3-)我可以通过spark-submit命令设置它吗?

0 个答案:

没有答案