BigQuery很慢（似乎）非常简单的查询

Question

我们使用GCP日志，并使用日志接收器将其导出到BigQuery中。 我们没有大量的日志，但是每条记录似乎都很大。

使用BigQuery运行一个简单的查询似乎要花费很多时间。我们想知道这是正常的还是我们做错了什么？还有什么我们可以做的才能使其分析起来更实用...

例如，查询

SELECT 
        FORMAT_DATETIME("%Y-%m-%d  %H:%M:%S", DATETIME(timestamp, "Australia/Melbourne")) as Melb_time, 
        jsonPayload.lg.a, 
        jsonPayload.lg.p
FROM `XXX.webapp_usg_logs.webapp_*`
ORDER BY timestamp DESC
LIMIT 100

收获

Query complete (44.2 sec elapsed, 35.2 MB processed)

谢谢！

Answer 1

尝试将其添加到您的查询中：

for (person of people) {
    person.surname = 'Baz';
}

它将过滤以仅在最近3天之内获取带有WHERE _TABLE_SUFFIX > FORMAT_DATE('%Y%m%d', DATE_SUB(CURRENT_DATE(), INTERVAL 3 DAY)) 的表-而不是让BigQuery查看可能已有多年历史的每个表。