Google Cloud Composer是否支持连接到S3和Redshift之类的AWS资源?

时间:2019-01-10 09:10:27

标签: google-cloud-composer

我正计划使用Google Cloud Composer来安排将数据从S3加载到Redshift的工作流程。由于S3和Redshift都基于AWS,因此我想知道Google Cloud Composer是否允许我这样做。

根据阅读本文的理解,我能够从PYPI安装AWS SDK并安装本地Python依赖关系,这意味着我可以为S3Connection和RedshiftConnection构建自己的库以使工作流程正常工作。有经验的人可以帮助确认吗?谢谢

1 个答案:

答案 0 :(得分:2)

Cloud Composer的构建是为了支持here所述的混合云和多云。

Cloud Composer可以利用现有的Airflow operators,其中包括一个S3toRedshift operator,该S3 hookpostgres hook用于Redshift

Cloud Composer也可以使用自定义插件。 link中介绍了在Cloud Composer中安装自定义插件的方法。