我使用log4j构建了一个scala应用程序和loggin。 示例代码:
logger.info(“This gets printed in client mode but not in cluster mode”)
问题是,当我在yarn-client
模式下运行时,上面的语句被打印出来,但是当我运行yarn-cluster
模式时它不会。
我希望这些消息也能以群集模式打印。
已经尝试过了
Spark-submit —files option
并设置spark.executor.extrajavaoptions
和spark.driver.extrajavaoptions`