尝试将大查询表导出到GCS时出现“后端错误。作业已中止”

Question

自从过去几周以来，我一直在尝试将大型查询表导出为csv格式的google云存储时出现“后端错误。作业中止”错误。

该表已使用bq select *语句创建（使用allowLargeQueryResult选项）

此外，目标存储桶名称似乎没有问题。

这是一个样本提取物。

Errors: Backend error. Job aborted. Job ID: kiwiup.com:kiwi-bigquery:job_mk90xJqtyinbzRqIfWVjM2mHLP0 Start Time: 2:53pm, 8 Aug 2014 End Time: 8:53pm, 8 Aug 2014

这项工作需要将近六个小时才能完成，之后失败了。以前它曾经在几分钟内完成。任何帮助将不胜感激。

Answer 1

您的导出作业超时。我们目前正在调查原因;你的工作日期与我们应该解决的带宽问题相吻合。我们目前正在添加更多的仪器和监控，以便将来更容易调试。

作为一种解决方法，如果您提供多个提取URI模式，BigQuery将并行启动更多工作程序。请参阅＆＃34;多个通配符URI＆＃34;例如here。

Answer 2

正如乔丹所说，这恰好是带宽问题。很抱歉给您带来不便。

在某些情况下，提供多个通配符URI会增加并行性，但这仅适用于相当大（10的GB）表，并且实际上可以降低并行性。多个通配符URI旨在支持Hadoop作业，而不是控制并行性。