我正在使用带有pyspark的Spark 2.2.0。 从我主人的Web UI中，我可以导航到正在运行的应用程序的webUI。在那里，我可以打开stderr日志，向我提供有关应用程序的信息。例如：
17/09/06 17:20:02 INFO Executor: Starting executor ID 0 on host 1.1.1.1
17/09/06 17:20:02 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 11111.
17/09/06 17:20:02 INFO NettyBlockTransferService: Server created on 1.1.1.1:11111
等等。
现在我想从我的应用程序输出信息到这个博客，我似乎并不真正理解如何做到这一点。我尝试过的两件事是：
logger = sc._jvm.org.apache.log4j.LogManager.getRootLogger()
logger.warn('This will show up as expected')
和
log4jLogger = sc._jvm.org.apache.log4j
logger = log4jLogger.LogManager.getLogger(__name__)
logger.info("pyspark script logger initialized")
两者都没有结果。
那么我如何设法在spark应用程序的WebUI日志中输出一些东西？