tbigqueryinput Talend limit error

Question

每当我从Bigquery表中获取指定超过100000条记录的数据时，它会给我以下错误

  

运行查询：SELECT action_payout FROM [FreeBStaging.fb_appreporting] LIMIT 1000000   组件tBigQueryInput_1中的异常   com.google.api.client.googleapis.json.GoogleJsonResponseException：404 Not Found   {     “代码”：404，     “错误”：[{       “域名”：“全球”，       “message”：“未找到：表igneous-study-87009：_165c6d3f4b2c1dbd0d644a1155ebebf7f2dbacfd.anon22fbed90bfc239ef84ee0345744d6cda6052a060”，       “理由”：“notFound”     }]，     “message”：“未找到：表igneous-study-87009：_165c6d3f4b2c1dbd0d644a1155ebebf7f2dbacfd.anon22fbed90bfc239ef84ee0345744d6cda6052a060”   }

即使我没有指定限制，它也会给我错误。它的工作正常，不到100000条记录。

Answer 1

您在评论中提供的作业ID的查询失败，因为其结果太大。 BigQuery有AllowLargeResults选项，可以扩展这些查询，但可能会更慢。我不知道Talend是否支持设置此类查询选项。

Answer 2

在“基本设置”选项卡的底部，有3个选项：“小”，“大”或“自动”。我每天使用以下配置在单个查询中移动约4,000,000行（mine设置为Auto ...不确定这是否是最佳选择，但恐怕要更改它，因为它可以工作）