我有两个问题要问:
所以我公司有2个正在运行的气流实例,一个在GCP上 预配置群集,另一个在AWS预配置群集上。以来 GCP具有Composer,可以帮助您管理气流,有没有办法 在AWS集群上将气流DAG进行某种程度的集成 也由GCP管理?
对于批处理ETL /流作业(在python中),GCP具有数据流(Apache 梁)。 AWS相当于什么?
谢谢!
答案 0 :(得分:0)
不,您不能这样做,直到现在,您必须使用AWS,自行配置和管理。您可以选择一些选项:EC2,ECS + Fargate,EKS
数据流等效于Amazon Elastic MapReduce(EMR)或AWS Batch数据流。此外,如果要运行当前的Apache Beam作业,可以在EMR中配置Apache Beam,并且所有内容都应该相同