我是Airflow的新手，我们正在本地执行器上运行气流，并且在运行DAG时遇到不一致的问题，我们正在执行的常规操作如下-
1。创建连接（使用mysql，redshift和S3），并将其添加到airflow的会话中->
2.使用S3KeySensor-> s3轮询文件
3.获取和读取文件，然后单击内部api->
4.发送电子邮件
5.从S3中移动和删除文件但是dag性能非常不一致，大多数情况下在以上任何一个阶段都失败，并且气流日志中没有日志。
我们正在docker容器中运行它，有时流程成功完成，那时候我们也可以看到日志。这是我们正在使用的流程之一，还有其他流程也显示了类似的行为 因为没有日志不确定是docker问题还是气流问题，所以任何建议都会很有帮助
以下是airflow.cfg文件中的日志配置
[core]
# The folder where your airflow pipelines live, most likely a
# subfolder in a code repository
# This path must be absolute
dags_folder = /usr/local/airflow/dags
# The folder where airflow should store its log files
# This path must be absolute
base_log_folder = /usr/local/airflow/logs
这是在ec2中运行，而在本地我也看不到成功完成的日志。 我监视了cpu的利用率，但没有看到100％的利用率。