Pyspark将日志流式传输到文件

时间:2017-04-01 12:50:56

标签: python apache-spark pyspark spark-streaming

我有一个提交到独立群集的Python Spark流应用程序。 我想将特定信息记录到自定义文件中,我尝试了迄今为止找到的所有解决方案:

  • 尝试使用log4j实例
  • python logging module
  • 将输出重定向到文件

自定义日志记录的文档很差,特别是在Python环境中。 但问题很简单。 如何在不解析整个标准输出或检查交互式日志的情况下将自定义数据记录到文件中? 应该是一项轻松的任务,但我已经坚持了几天。

谢谢,

FB

0 个答案:

没有答案