在GCP Composer上创建气流DAG

时间:2018-11-30 16:03:13

标签: python google-cloud-platform airflow google-cloud-composer

我刚刚了解了GCP Composer,并试图将DAG从我的本地气流实例迁移到云中,并对转换有一些疑问。

  1. 在本地实例中,我使用 int num=6789123,lastvalue=0; int largest = 0; int secondLargest = 0; while(num>0){ int reminder=num%10; if(reminder > largest) //get the largest number { largest = reminder; } System.out.println(reminder); lastvalue=lastvalue*10+reminder; num/=10; } num=6789123; while(num>0){ int reminder=num%10; if(reminder > secondLargest) //get the second largest number { if(reminder != largest) { secondLargest = reminder; } } lastvalue=lastvalue*10+reminder; num/=10; } System.out.println(largest); System.out.println(secondLargest); 从蜂巢中读取数据并创建表并将其写回到蜂巢中。如果我必须在GCP中执行此操作,那怎么可能?我是否必须将数据上传到Google Bucket,HiveOperator是否可以在GCP中使用?

  2. 我有一个使用HiveOperator来检查另一个DAG是否完成的DAG,在Composer上可以吗?

2 个答案:

答案 0 :(得分:0)

是的,Cloud Composer只是受管理的Apache Airflow,因此您可以做到这一点。

请确保使用与本地使用的相同版本的Airflow。 Cloud Composer当前支持Airflow 1.9.0和1.10.0。

答案 1 :(得分:0)

作曲家具有连接存储。请参阅菜单管理->连接。检查可用的连接类型。

传感器可用。