AWS和GCP集中管理AWS的气流和等效的Dataflow

时间:2019-08-24 13:56:52

标签: amazon-web-services google-cloud-platform airflow

我有两个问题要问:

  1. 所以我公司有2个正在运行的气流实例,一个在GCP上 预配置群集,另一个在AWS预配置群集上。以来 GCP具有Composer,可以帮助您管理气流,有没有办法 在AWS集群上将气流DAG进行某种程度的集成 也由GCP管理?

  2. 对于批处理ETL /流作业(在python中),GCP具有数据流(Apache     梁)。 AWS相当于什么?

谢谢!

1 个答案:

答案 0 :(得分:0)

  1. 不,您不能这样做,直到现在,您必须使用AWS,自行配置和管理。您可以选择一些选项:EC2,ECS + Fargate,EKS

  2. 数据流等效于Amazon Elastic MapReduce(EMR)或AWS Batch数据流。此外,如果要运行当前的Apache Beam作业,可以在EMR中配置Apache Beam,并且所有内容都应该相同