将300 MB文件加载到BigQuery

Question

我按照加载数据发布请求页面（靠近底部：https://cloud.google.com/bigquery/loading-data-post-request）提供的Node.js示例，但我遇到了较大文件的问题。示例代码适用于13 MB的.csv，但是当我尝试更大的文件时，无论是25 MB还是300 MB，它都不起作用。我看到以下错误：

  

events.js：154             扔掉//未处理的'错误'事件             ^

Error: ETIMEDOUT
    at null._onTimeout (/Users/Hertig/Development/BitDeliver/BigQuery/node_modules/request/request.js:772:15)
    at Timer.listOnTimeout (timers.js:92:15)

我认为这种加载数据的方法会支持更大的文件。还有其他人经历过这个吗？任何关于加载更大文件（大约400 MB或更大）的建议都将受到赞赏。

Answer 1

将大文件加载到BigQuery时，最好的方法是首先将它们上传到Google云端存储 - 然后告诉BigQuery从gs：// bucket / path / file *中读取它们。