我有一个拥有2M记录的bigQuery表,我想读取这整个数据,以便在我的机器中处理它。 我通过以下代码实现了这一点:
com.google.api.gax.paging.Page<FieldValueList> d = bigquery.listTableData(table,tableSchema , TableDataListOption.startIndex(0).pageSize(5000000));
Iterator<FieldValueList> sd = null;
sd = d.iterateAll().iterator();
while(sd.hasNext()) {
FieldValueList fvl = sd.next();
// do something with the data
}
}
结果,读取所有数据需要7分钟,因为d.iterateAll()
以惰性模式返回数据,我需要一些东西来一次获取整个数据或者至少更快
提前致谢!