我正计划使用Google Cloud Composer来安排将数据从S3加载到Redshift的工作流程。由于S3和Redshift都基于AWS,因此我想知道Google Cloud Composer是否允许我这样做。
根据阅读本文的理解,我能够从PYPI安装AWS SDK并安装本地Python依赖关系,这意味着我可以为S3Connection和RedshiftConnection构建自己的库以使工作流程正常工作。有经验的人可以帮助确认吗?谢谢
答案 0 :(得分:2)
Cloud Composer的构建是为了支持here所述的混合云和多云。
Cloud Composer可以利用现有的Airflow operators,其中包括一个S3toRedshift operator,该S3 hook和postgres hook用于Redshift
Cloud Composer也可以使用自定义插件。 link中介绍了在Cloud Composer中安装自定义插件的方法。