我刚刚了解了GCP Composer,并试图将DAG从我的本地气流实例迁移到云中,并对转换有一些疑问。
在本地实例中,我使用 int num=6789123,lastvalue=0;
int largest = 0;
int secondLargest = 0;
while(num>0){
int reminder=num%10;
if(reminder > largest) //get the largest number
{
largest = reminder;
}
System.out.println(reminder);
lastvalue=lastvalue*10+reminder;
num/=10;
}
num=6789123;
while(num>0){
int reminder=num%10;
if(reminder > secondLargest) //get the second largest number
{
if(reminder != largest)
{
secondLargest = reminder;
}
}
lastvalue=lastvalue*10+reminder;
num/=10;
}
System.out.println(largest);
System.out.println(secondLargest);
从蜂巢中读取数据并创建表并将其写回到蜂巢中。如果我必须在GCP中执行此操作,那怎么可能?我是否必须将数据上传到Google Bucket,HiveOperator是否可以在GCP中使用?
我有一个使用HiveOperator
来检查另一个DAG是否完成的DAG,在Composer上可以吗?
答案 0 :(得分:0)
是的,Cloud Composer只是受管理的Apache Airflow,因此您可以做到这一点。
请确保使用与本地使用的相同版本的Airflow。 Cloud Composer当前支持Airflow 1.9.0和1.10.0。
答案 1 :(得分:0)
作曲家具有连接存储。请参阅菜单管理->连接。检查可用的连接类型。
传感器可用。