我需要在bigquery上增加更新配额。由于我每天将更新大约1m行更新,我该怎么做。
我在Bigquery中有一个表,每天需要大约1M更新。
Bigquery表中的当前记录数= 62000000
以下是我得到的错误:
{
"error": {
"errors": [
{
"domain": "global",
"reason": "quotaExceeded",
"message": "Quota exceeded: (truncated...)
}
答案 0 :(得分:2)
BigQuery主要设计为适用于仅使用有限DML语句的仅附加技术。
这不是一个真实的数据库,如果他们编辑他们的个人资料,你会不断更新你的用户记录。相反,您需要对代码进行修改,以便每次编辑都是Bigquery中的新行,并且始终查询最新的行。
DML语句限制很低,因为它针对不同的场景而不是你的场景,即行上的实时更新。您可以将数据提取到单独的表中,并每天发出1个更新语句。
答案 1 :(得分:0)
BigQuery删除了DML配额限制,因此在此之后您将不会收到上述错误。
https://cloud.google.com/blog/products/data-analytics/dml-without-limits-now-in-bigquery