如何在Google Composer上重新启动气流服务器?

时间:2018-07-17 14:19:38

标签: python google-cloud-platform google-compute-engine airflow google-cloud-composer

当我需要在本地重新启动Web服务器时,我会这样做:

ps -ef | grep airflow | awk '{print $2}' | xargs kill -9
airflow webserver -p 8080 -D

如何在Google Composer上执行此操作?我在控制台中看不到重新启动服务器的选项。

3 个答案:

答案 0 :(得分:3)

由于Cloud Composer是Apache Airflow managed service,因此无法重新启动整个服务。您可以通过服务的单个实例重新启动,如here所述,但这无助于更改插件。

要应用插件更改,应在将其加载到创建环境时自动创建的plugin文件夹中后install the plugin

gcloud composer environments storage plugins import --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

DAG更新是自动执行的,必须使用

应用其他更新

gcloud composer environments update

command

答案 1 :(得分:2)

重启Composer服务器的一种方法是在GCP Composer UI的“环境变量”中添加一个“虚拟变量”。提交后,它将重新启动以包含此更改。 enter image description here

答案 2 :(得分:1)

编辑:仅适用于 Composer 版本 >= 1.13.1

最近在预览版 here 中引入了重新启动 Airflow 的功能。

TL;DR 命令是:

gcloud beta composer environments restart-web-server ENVIRONMENT_NAME
  --location=LOCATION