云作曲家spark提交现有的Hadoop集群

时间:2018-07-20 07:34:10

标签: google-cloud-composer

我试图在几天内使用Cloud Composer 但是,我的任务是使用yarn模式提交给我们现有的Hadoop集群。

云作曲家可以使用吗?

1 个答案:

答案 0 :(得分:0)

Apache Airflow 1.9.0可以完成的任何操作当前都可以由Cloud Composer完成。在这种情况下,可以看看SparkSubmitOperator吗?