我有一个Dataflow管道(Apache Beam 2.1.0),它首先从BigQuery读取一个表。 (实例数#4,实例类型:n1-standard-16)
这是第一个具有表大小的管道:
预计尺寸为1.2 GB
BigQueryIO.Read/PassThroughThenCleanup/ParMultiDo(身份).out0
职位编号:2017-10-20_12_27_11-78701910582961250
几乎是上述表格的两倍: 估计尺寸为2.27 GB
职位编号:2017-10-18_16_43_55-10743775736175090102
需要更多。基本上,从BigQuery读取表成为我的应用程序的主要瓶颈。我该如何解决这个性能瓶颈?