使用GCP Cloud Composer移动许多BigQuery数据表

时间:2019-02-08 14:21:02

标签: google-cloud-platform airflow google-cloud-composer

我正在使用Cloud Composer将BigQuery表从一个区域移动到另一区域,并遵循此处的文档: https://cloud.google.com/blog/products/data-analytics/how-to-transfer-bigquery-tables-between-locations-with-cloud-composer

我在7个表上运行了一个示例作业,大约一分钟后完成,当我将其扩展到300张表时,所有作业均失败了,而AirFLow中几乎没有关于原因的信息。

当前我正在使用3个节点,难道我需要为这项工作的规模增加它吗?扩大规模后,还有什么可能导致作业失败?

0 个答案:

没有答案