BigQuery资源超出了错误

时间:2018-03-21 08:11:27

标签: python google-bigquery parquet

我有一个以下格式的Bigquery表: "设备"," t"," BedOccupancy"和" Raw"。 该表由约300,000行组成,面向未来数百万用户。

见这里的例子:
enter image description here

表中的每一行对应于床安装传感器测量的第二行。该领域" Raw"包含传感器数据,这些数据是在一个长字符串中编码为逗号分隔值的1000个整数。

当我查询表格以选择" Raw"以外的字段时,结果很好,例如:

SELECT
  Device, t
FROM
  [table:table1.RawData]
WHERE
  BedOccupancy == 1
ORDER BY
  t

但是当我也选择" Raw"字段,我收到以下错误:

  

查询执行期间超出资源:查询无法在分配的内存中执行..

任何想法如何解决这个问题?

更新#1:

在没有"顺序由t",当我选择所有四个字段时,我收到以下错误:

  

响应太大而无法返回

似乎" Raw"字段对BigQuery来说很难。是否有更有效的方法来存储每行1000个这些值?我不需要查询它们,只需保留每行的整个值。

0 个答案:

没有答案