在bigquery中删除和创建表是否每天续订配额限制？

Question

我正在创建一个数据管道，该数据管道每分钟将数据写入bigquery表中，并最终超出配额限制。几个小时后删除该表，然后再次创建该表是否会续订该表的配额限制？

我正在使用bigquery的Python API来完成此任务。

需要在不超过配额限制的情况下在bigquery中更新同一表。

Answer 1

根据BQ文档，它每天对每个表施加1,000个更新的上限。

我认为您必须“设计”方法来解决对表的更新频率。有一些非常明显的方法可以解决（这也是相当标准的行业惯例），然后还有一些技巧。这是我能想到的：

1. 您可以选择不太频繁地更新（覆盖）目标表。

2. 您可以编写一个新表名称，使其仅对一天中特定时间间隔内进行的更新有效（例如：凌晨2-3点之间，让您的管道将查询结果写入表{{1 }}）。然后，在查询时，您可以使用通配符语句，例如：

   > df1=pd.concat([pd.DataFrame(x) for x
   > indf['C']],keys=df['A']).reset_index(level=1, drop=True).reset_index()
   

   等同于：

   A       B        name   salary   age
   123    abc       john    50000   28
   345    bcd       alex    40000   38
   567    xyx       Dave    30000   82
   

   但是，在这种情况下，请确保始终将数据“添加”（而不是覆盖）数据到与一天中的小时相对应的表中。另外，不要忘记，您始终可以充分利用BQ的日期分区表来获得类似的结果。

希望这会有所帮助。