如何使用PySpark中的日志记录？

Question

我使用PySpark 2.2，我想添加日志记录。我就是这样做的：

log4j = sc._jvm.org.apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.WARN)
logger = log4j.LogManager.getLogger("logger")
logger.warn("Starting")

但是，当我运行yarn logs -applicationId ...时，我看不到我的日志消息。我做错了什么以及消息保存在哪里？如何指定要保存*.log文件的路径（在python代码中）？