如何在使用Google Bigquery数据流时分解时间消耗?

时间:2014-06-04 20:45:07

标签: stream google-bigquery

我正在将数据从本地文件传输到Google Bigquery。我的代码:

long startTime = System.currentTimeMillis();
TableDataInsertAllRequest request = new TableDataInsertAllRequest().setRows(rowList);
TableDataInsertAllResponse response = mBigquery.tabledata().insertAll(ConfigConstants.PROJECT_ID, mDataset, tableId, request).execute();
System.out.println((System.currentTimeMillis()-startTime)/1000 + "s for one request with list size " + rowList.size());

rowList.size()= 10000,我运行完全相同的代码,将相同的数据集流式传输到四台机器上的同一个bigquery数据集中。正如我在代码输出中看到的那样,其中三台机器花了20秒钟完成一个请求,而另一台机器只用了5秒钟。 流速如此大的差异可能是什么原因?

一个细节是,一开始我认为可能是由于不同的网络连接,所以我只是从5秒秒的机器上拔下电缆并将其插入另外三台20秒机器之一,但是速度刚刚停留在20岁......

为什么......

0 个答案:

没有答案