我正在尝试从在 python 转换中调用的 Pandas udf 登录。
因为在执行器上调用的代码没有显示在驱动程序的日志中。
我一直在寻找关于 SO 的一些选项，但到目前为止最接近的选项是 one
欢迎任何有关如何在驱动程序日志或构建下可用的任何其他日志文件中显示日志的想法。
import logging
logger = logging.getLogger(__name__)
@pandas_udf(schema, functionType=PandasUDFType.GROUPED_MAP)
def my_udf(my_pdf):
logger.info('calling my udf')
do_some_stuff()
results_df = my_df.groupby("Name").apply(my_udf)