在Google Composer中使用插件会使其崩溃

Question

我为Apache Airflow编写了一个小插件，该插件可以在本地部署上正常运行。但是，当我使用Google Composer时，用户界面会挂起并且无法响应。有什么方法可以在Google Composer中重新启动Web服务器

Answer 1

（注意：此答案目前比最终结论更具启发性。）

就重启Web服务器而言...

什么不起作用：

• 我查看了文档中的Airflow Web Interface，该文档描述了如何使用Web服务器，但没有从CLI访问或重新启动它。
• 虽然您也可以在Composer上run Airflow CLI commands，但今天在Airflow CLI中看不到用于重启Web服务器的命令。

• 我检查了Google Cloud SDK中的gcloud CLI，但没有找到与重启相关的命令。 以下是在Composer上重新启动Airflow Web服务器的一些想法：

  1. 在gcloud CLI中，有一个update command用于更改环境属性。我认为在您更改其中的一个以应用新设置后，它将重新启动调度程序和Web服务器（在新容器中）。您可以设置一个任意的环境变量进行检查，但是只运行更新命令而不进行任何更改就可以起作用。

     gcloud beta作曲者环境更新...

  2. 或者，您可以update environment properties在GCP控制台中排除环境变量。

  3. 我认为重新运行import plugins命令也会导致调度程序/网络服务器重新启动。

     gcloud beta作曲者环境存储插件导入...

在更高级的设置中，Composer支持deploying a self-managed Airflow web server。按照链接的指南，您可以：连接到Composer实例的GKE群集，为Web服务器创建部署和服务Kubernetes配置文件，并使用kubectl create进行部署。然后，您可以在广告连播上运行kubectl replace或kubectl delete来触发全新的开始。

感觉有点像，所以希望能出现文档或实现Web服务器重启的更简单方法来成功实现这些解决方法。