运行几天后,Google Cloud Composer Web UI会无限期返回502服务器错误:
<meta name="viewport" content="width=device-width, initial-scale=1.0">
解决此问题的唯一方法是重新创建Composer环境。尽管运行了几天后,新环境因相同的错误而崩溃。
图片版本:composer-1.4.0-airflow-1.10.0
Python版本:3
任何人都知道根本原因是什么
答案 0 :(得分:1)
我没有运行Cloud Composer,但是我怀疑在某些情况下,Web服务器已从所有Web Worker线程退出。当气流读取或写入数据库的超时超时时,有时可能会发生这种情况;可能是由于持有锁或网络连接问题。它可能已配置为在完全退出后重新启动,但是在某些情况下,即使所有Web工作人员都退出了,airflow webserver
命令仍会保持不退出状态。
或者502与为GCP实现的身份提供者有关。如果是这种情况,您可能会发现需要注销Google登录并使用Airflow提供的登录流程(如果它对私人浏览器会话或已注销的会话做出响应)。
答案 1 :(得分:0)
我遇到了相同的502错误,事实证明DAG本身存在问题。如前所述:
“ Web服务器解析DAG定义文件,如果DAG中存在错误,则可能会发生502网关超时。”
在Composer /监控中可见
Web服务器受到DAG本身问题的影响。几分钟后,Airflow用户界面启动,我们通过删除最近添加的DAG来解决了该问题。