气流 - 如何将任务日志发送到弹性搜索？

Question

如何配置或从airflow 1.9发送任务日志到弹性搜索？ 我在当前的git存储库中找到了配置模板，但不确定是否可以在v 1.9中完成。

Answer 1

据我了解你的问题，你问是否可以简单地配置Airflow将其日志直接发送给Elastic。

<强>参考

这是 - 至少对于v.1.9.0 - 没有简单的配置问题。即使它在配置文件中说你可以将数据写入Elastic我也找不到

1）设置正确的ElasticSearch连接的方法

2）Airflow存储库中的任何代码使用这些设置将日志推送到Web界面或ElasticSearch

在我看来，这将是未来的新功能，供参考，请参阅：https://issues.apache.org/jira/browse/AIRFLOW-1454

<强>结论

因此，目前执行此操作的标准方法是将Airflow日志记录到特定文件夹，通常在airflow.cfg中设置如下：

base_log_folder = {AIRFLOW_HOME}/logs

然后使用典型设置，例如FileBeat根据您的设置将这些日志直接发送到Elastic或Logstash。