我正在尝试将数据存储到BigQuery表中,该过程运行良好,并将数据插入到表中,并在需要时创建了它,一切正常。 我面临的主要问题是,在使用 WRITE_TRUNCATE 插入新数据之前,如果我要求它删除以前的数据,则需要花费很长时间来创建表。
write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE
花费的时间真是疯狂,而且是不合理的!!! 不仅有150秒钟的睡眠时间,而且一张桌子可以达到30分钟以上!!!只有10,000条记录。
有人遇到同样的问题吗?如何克服呢?