将查询结果复制到分区表(使用python sdk)

时间:2018-10-30 18:19:06

标签: google-bigquery

我正在使用气流从一个分区表运行某些ETL到另一分区表,因此基础客户端是python。

我对作业api不太了解,因为分区表中的write_despositions标志 https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs

作业将每天从表1中选择每天的数据范围,然后复制到分区表table2中,我应该选择哪个write_desposition? WRITE_TRUNCATE是否合适?如果选择此项,则该作业不会截断该表,即删除前几天的数据,而只是创建新分区并将数据复制到该分区中,对吗?

谢谢

1 个答案:

答案 0 :(得分:1)

如果您要插入特定分区(例如print(np.arange(16)) ),则WRITE_TRUNCATE会将[仅]该分区的现有数据替换为新数据。如果您在不指定分区的情况下插入表-整个表将首先被截断