查询错误：查询执行期间超出资源：无法在分配的内存中执行查询

Question

尝试执行以下查询时出错：

select r.* 
from dataset.table1 r
where id NOT IN (select id from staging_data.table1);

它基本上是一个在表上加载增量数据的查询。 dataset.table1有360k行，staging_data上的增量有40k。但是当我尝试在我的脚本上运行它来加载另一个表时，我收到了错误：

Resources exceeded during query execution: The query could not be executed in the allotted memory

这开始发生在上周，之前它运作良好。

我在互联网上寻找解决方案，但所有解决方案都不适合我的情况。

有谁知道如何解决它？

我改变了cronjob时间，但它确实有效。谢谢！

Answer 1

您可以尝试将结果写入另一个表，因为Big Query对可以处理的最大响应大小有限制。如果您使用的是Legacy或Standard SQL，则可以执行此操作，并且可以按照步骤执行in the documentation。