我可以重新启动Cloud Composer环境吗？

Question

我正在使用Google Cloud作曲家几天，主要是将数据从MySQL移至BigQuery，并且运行良好。

在某个时候，它停止工作：

• 正在运行的任务运行了很长时间，然后失败了

• 任务无法启动

• 新用户有评论This DAG seems to be existing only locally. The master scheduler doesn't seem to be aware of its existence

我已经使用Airflow Web UI清理了所有DAG运行和任务实例，但仍然无法正常工作。

是否有一种方法可以在不丢失已完成任务的结果的情况下重新启动环境？ 还有其他方法可以手动运行Airflow吗？

Answer 1

您无法停止/重新启动Cloud Composer环境。直到今天，元数据数据库都与作曲者环境相关联，因此删除此环境将删除与该任务相关联的所有内容。

Answer 2

此帖子已有一年多的历史了，但可能会对其他人有所帮助。回答您的2个问题：

1. 如何重新启动Composer环境 每次将Python软件包或环境变量添加到Composer时，这都会重新启动整个环境，并安装需要添加的内容。因此，重新启动Composer环境的解决方法是添加 dummy 环境变量。 请按照下列步骤操作：

   • 转到GCP中的作曲家实例
   • “环境变量”标签
   • 编辑，添加环境变量并提交

2. 如何手动运行Airflow 您还可以通过Composer命令行访问Airflow： https://cloud.google.com/composer/docs/gcloud-installation

希望对您有帮助！