如何使用查询从BigQuery中的非分区表创建分区表？

Question

我试过这个解决方案Migrating from non-partitioned to Partitioned tables，但是我收到了这个错误。 “错误：无法查询大于100MB限制的行。”

职位编号：sandbox-kiana-analytics：bquijob_4a1b2032_15d2c7d17f3。

Answer 1

Vidhya，

我在内部查看了您发送给BigQuery的查询，并且可以看到，作为查询的一部分，您正在使用ARRAY_AGG（）将一天中的所有数据放在一行中。这导致非常大的行，最终超过Big Query的每行100MB限制。这是一种相当复杂且低效的数据分区方式。相反，我建议使用BigQuery（example here）提供的内置数据分区支持。在这种方法中，您可以创建一个空的日期分区表，并为每天添加日分区数据。