如何使用python日志记录模块从spark worker登录到stdout？

Question

我可以使用python日志记录模块从rdd.map中执行的函数和分配给工作节点的其他函数登录到主要spark实例上的stdout吗？

具体来说，我在客户端模式下使用yarn，并希望能够从所有工作人员收集日志。因此，如果任何工作人员运行

这样的行

  logger.log("Starting to do something...")

它将被打印到主服务器上的stdout /其他记录器，就好像它没有在节点上执行一样。执行完成后，可以在作业结束时打印日志。

Answer 1

this中的第一个回复回答了您的问题，它包含一个编码示例（code link）。