我正在使用气流从一个分区表运行某些ETL到另一分区表,因此基础客户端是python。
我对作业api不太了解,因为分区表中的write_despositions标志 https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs
作业将每天从表1中选择每天的数据范围,然后复制到分区表table2中,我应该选择哪个write_desposition? WRITE_TRUNCATE
是否合适?如果选择此项,则该作业不会截断该表,即删除前几天的数据,而只是创建新分区并将数据复制到该分区中,对吗?
谢谢
答案 0 :(得分:1)
如果您要插入特定分区(例如print(np.arange(16))
),则WRITE_TRUNCATE会将[仅]该分区的现有数据替换为新数据。如果您在不指定分区的情况下插入表-整个表将首先被截断