从Google Cloud Composer DAG克隆存储库

时间:2018-10-26 03:12:49

标签: git google-cloud-platform airflow-scheduler google-cloud-composer

如何从云源存储库克隆并将代码从Google Cloud Composer推送到另一个GCP项目中的存储库?

我使用gcloud命令将代码克隆到Composer Cloud Storage存储桶中,并出现以下错误:

  

克隆到'/ home / airflow / gcsfuse / data / source_code'...

     

错误:RPC失败;结果= 56,HTTP代码= 200

     

致命:远端意外挂起

     

致命:早期EOF

     

致命:索引包失败

描述错误原因here

这可以在Composer环境中完成吗?

1 个答案:

答案 0 :(得分:2)

您是否已确保环境的服务帐户可以访问该存储库?另外,如果您是在PythonOperator中执行此操作并按同一步骤进行操作,则可能需要克隆到/ tmp,因为似乎不需要在路径上使用GCS。