Google Cloud Composer服务器遇到临时错误,无法完成您的请求

时间:2018-12-16 06:43:42

标签: airflow google-cloud-composer

运行几天后,Google Cloud Composer Web UI会无限期返回502服务器错误:

<meta name="viewport" content="width=device-width, initial-scale=1.0">

解决此问题的唯一方法是重新创建Composer环境。尽管运行了几天后,新环境因相同的错误而崩溃。

图片版本:composer-1.4.0-airflow-1.10.0

Python版本:3

任何人都知道根本原因是什么

2 个答案:

答案 0 :(得分:1)

我没有运行Cloud Composer,但是我怀疑在某些情况下,Web服务器已从所有Web Worker线程退出。当气流读取或写入数据库的超时超时时,有时可能会发生这种情况;可能是由于持有锁或网络连接问题。它可能已配置为在完全退出后重新启动,但是在某些情况下,即使所有Web工作人员都退出了,airflow webserver命令仍会保持不退出状态。

或者502与为GCP实现的身份提供者有关。如果是这种情况,您可能会发现需要注销Google登录并使用Airflow提供的登录流程(如果它对私人浏览器会话或已注销的会话做出响应)。

答案 1 :(得分:0)

我遇到了相同的502错误,事实证明DAG本身存在问题。如前所述:

“ Web服务器解析DAG定义文件,如果DAG中存在错误,则可能会发生502网关超时。”

在Composer /监控中可见

monitoring

Web服务器受到DAG本身问题的影响。几分钟后,Airflow用户界面启动,我们通过删除最近添加的DAG来解决了该问题。