Question

我正在尝试创建与Google的BigQuery仪表板类似的内容，但预定义的查询/视图除外。我遇到的问题是对数据进行分页。

tabledata endpoint支持分页，因为您可以指定起始索引或使用页面标记，允许我这样做：

query_reply = table_data_job.list(projectId=settings.PROJECT_ID,
                                  datasetId=settings.DATASET_ID,
                                  tableId=table,
                                  startIndex=offset,
                                  maxResults=page_size).execute()

这个问题是我想运行特定的查询（或者，至少，命令表数据结果）。

query_data = {'query': 'SELECT * FROM my_dataset.foo_table LIMIT %s' % page_size}
query_reply = job_collection.query(projectId=settings.PROJECT_ID,
                                   body=query_data).execute()

据我所知，没有办法用上面的代码做偏移。这只是BigQuery不适合的东西吗？我想替代方法是在内存中进行分页并处理较小的结果集吗？

Answer 1

BigQuery查询结果是表。因此，您可以运行查询并从结果中获取目标表，然后使用tabledata.list（）api翻译结果。或者，您可以从回复中获取作业ID，并使用jobs.getQueryResults()，它具有分页支持。

Answer 2

只能使用ROW_NUMBER（）

来实现对SQL的分页

这是通用模板

SELECT  t.*
FROM (
SELECT 
1 AS one, 
[field], 
ROW_NUMBER() OVER(PARTITION BY one) AS rownum
FROM [table] ) t WHERE rownum BETWEEN X AND Y

Paginating BigQuery

2 个答案: