将表从BigQuery导入到数据流

时间:2017-10-23 21:20:38

标签: google-bigquery google-cloud-platform google-cloud-dataflow

我有一个Dataflow管道(Apache Beam 2.1.0),它首先从BigQuery读取一个表。 (实例数#4,实例类型:n1-standard-16)

这是第一个具有表大小的管道: 预计尺寸为1.2 GB
BigQueryIO.Read/PassThroughThenCleanup/ParMultiDo(身份).out0

职位编号:2017-10-20_12_27_11-78701910582961250

enter image description here

现在,如果我使用更大的桌子:
enter image description here

几乎是上述表格的两倍: 估计尺寸为2.27 GB

职位编号:2017-10-18_16_43_55-10743775736175090102

需要更多。基本上,从BigQuery读取表成为我的应用程序的主要瓶颈。我该如何解决这个性能瓶颈?

0 个答案:

没有答案