如何以高效的方式从bigquery表中读取整个数据?

时间:2018-02-06 10:34:13

标签: google-bigquery

我有一个拥有2M记录的bigQuery表,我想读取这整个数据,以便在我的机器中处理它。 我通过以下代码实现了这一点:

com.google.api.gax.paging.Page<FieldValueList> d =  bigquery.listTableData(table,tableSchema , TableDataListOption.startIndex(0).pageSize(5000000));

 Iterator<FieldValueList> sd =  null;

     sd = d.iterateAll().iterator();

     while(sd.hasNext()) {
         FieldValueList fvl = sd.next();

       // do something with the data
     }
}

结果,读取所有数据需要7分钟,因为d.iterateAll()以惰性模式返回数据,我需要一些东西来一次获取整个数据或者至少更快

提前致谢!

0 个答案:

没有答案