使用beam.io.WriteToBigQuery
和beam.io.BigQuerySource
如果不进行分区,apache-beam无法处理的超大型数据集有多大?
他们在官方网站上提到:
如果您将Beam SDK用于Python,则在编写非常大的数据集source
时,可能会遇到导入大小配额问题。
这真是令人困惑!我在一个BigQuery表中有100,000行数据,但我不认为这是very large
吗?
但是在读取数据并将其再次写入BigQuery中的其他表时,我面临非常高的延迟。