Dataflow作业是否符合任何Bigquery配额和限制？

Question

我有大约1500个工作要使用Dataflow实现。这些工作将每天安排。我们可能会在我们的工作中使用Bigquery Client库来使用大量的DML语句。列出我对Bigquery配额和限制的担忧。

参考：https://cloud.google.com/bigquery/quotas

请确认在以下任何情况下我们是否需要考虑Bigquery的每日使用限制。

1. 如果我们使用BigqueryIO.write()
实施数据插入
2. 如果我们在数据流作业中使用Bigquery Client Library使用DML语句（更新/删除）

请建议。

Answer 1

你绝对做需要考虑BigQuery配额和限制 - 即使是从Dataflow挂钩它。

Dataflow就是代表您调用BigQuery API。因此，所有配额和限制仍然适用，就像您自己直接调用它一样。