ELK Apache Spark应用程序日志

Question

如何配置Filebeats以读取apache spark应用程序日志。一旦应用程序完成，生成的日志将以不可读的格式移动到历史服务器。这里的理想方法是什么。

Answer 1

您可以配置Spark日志记录via Log4J。有关设置log4j配置的一些极端情况的讨论，请参见SPARK-16784，但是如果您只想收集来自集群的所有应用程序日志（与每个作业的日志相比），则无需考虑任何其他情况

在ELK端有a log4j input plugin for logstash，但已弃用。

非常感谢，已弃用插件的文档描述了如何配置log4j以在本地为FileBeat写入数据，以及如何设置FileBeat以使用此数据并将其发送到Logstash实例。现在，这是推荐使用log4j从系统中发送日志的方法。

因此，总而言之，将日志从Spark导入ELK的推荐方法是：

1. 设置Spark集群的Log4J配置以写入本地文件
2. 运行FileBeat以从这些文件中消费并发送到logstash
3. Logstash将数据发送到Elastisearch
4. 您可以使用Kibana在索引日志数据中进行搜索