我的任务是通过Papermill操作员自动调度在AI Platform笔记本上每天运行的一些笔记本，但是实际上通过Cloud Composer这样做给我带来了一些麻烦。
感谢您的帮助！
答案 0 :(得分：0)
第一步是创建Jupyter Lab Notebook。如果要使用其他库，请安装它们并重新启动内核（Restart Kernel and Clear All Outputs选项）。然后，在笔记本中定义处理。
准备就绪后，请在开始计划阶段之前除去所有运行，偷看和空转。
现在，您需要设置Cloud Composer环境（记住要安装在第一步中定义的其他软件包）。要安排工作流程，请转到Jupyter Lab并创建第二个笔记本，该笔记本从工作流程中生成DAG。
最后一步是将压缩的工作流程上传到Cloud Composer DAGs文件夹。您可以使用Airflow UI管理工作流程。
我建议您看看此article。
您可以使用的另一种解决方案是Kubeflow，该解决方案旨在使Kubernetes上运行ML工作负载。 Kubeflow向您的集群添加了一些资源，以协助完成各种任务，包括训练和提供模型以及运行Jupyter Notebook。您可以在codelabs上找到有趣的教程。
我希望以上信息对您有用。
答案 1 :(得分：0)
Medium 上的此 blog post，“如何在 Google Cloud Platform 上部署和调度 Jupyter Notebook”，描述了如何在 Compute Engine 实例上运行 Jupyter Notebook 作业并使用 GCP 的 Cloud Scheduler > Cloud Pub/Sub 进行调度> 云功能。 （不幸的是，该帖子可能是付费墙。）
如果您必须使用 Cloud Composer，那么您可能会发现 this answer 到 related question，“由 Jupyter Notebooks 和 Papermill 辅助的 Airflow 中的 ETL”很有用。