Apache-Beam中BigQuery操作的处理速度非常慢

时间:2018-12-10 08:25:38

标签: python google-bigquery apache-beam

使用beam.io.WriteToBigQuerybeam.io.BigQuerySource

如果不进行分区,apache-beam无法处理的超大型数据集有多大?

他们在官方网站上提到:

  

如果您将Beam SDK用于Python,则在编写非常大的数据集source

时,可能会遇到导入大小配额问题。

这真是令人困惑!我在一个BigQuery表中有100,000行数据,但我不认为这是very large吗?

但是在读取数据并将其再次写入BigQuery中的其他表时,我面临非常高的延迟。

0 个答案:

没有答案