有时在成功处理100万行数据集之后,我得到“响应太大而无法返回”错误消息。当我尝试了200万行数据集时,抛出了相同的消息。交易规模是否有限制?
错误讯息: 查询操作中的BigQuery错误:处理作业时出错' ...':响应太大而无法返回。
提交的查询: bq --project_id = ... query --destination_table ... --append_table --use_cache --allow_large_results" select ... from ... limit 1000000"
答案 0 :(得分:2)
具有LIMIT
子句的查询即使设置了--allow_large_results
也会导致此错误。强制执行LIMIT
子句会强制所有输出数据通过单个节点,从而无法返回大的结果。尝试从查询中删除limit 1000000
。
我们正在努力将其添加到documentation for large query results中的限制中,但尚未添加。