Spark-从PandasUDF访问log4j记录器

时间:2019-01-21 14:07:13

标签: apache-spark pyspark

我正在使用Spark-2.4,并且试图从PandasUDF函数中访问log4j记录器 可以在驱动程序上完成的方式:

sc = SparkContext(conf=conf) 
log4jLogger = sc._jvm.org.apache.log4j 
log = log4jLogger.LogManager.getLogger(__name__) 
log.warn("Hello World!")

有人可以举个例子吗?

0 个答案:

没有答案