如何预处理来自Stackdriver的BigQuery数据

Question

我当前正在使用接收器将日志从 Stackdriver 导出到 BigQuery 。但是我只对 jsonPayload 感兴趣。我想忽略几乎所有其他内容。 但是由于表创建和数据插入是自动发生的，因此我无法做到这一点。 有没有一种方法可以预处理接收器中的数据以仅存储重要内容？ 如果答案是否定的，那么每天是否有办法运行cron作业以将昨天的数据复制到单独的表中，然后将其删除？ （知道这些表是使用 timestamps 命名的，因此可以按天查询它们）

Answer 1

据我所知，上述提到的两个选项目前在GCP平台中均无法实现。最后，我还尝试为您的请求创建内部复制，并注意到没有一种方法可以单独过滤jsonPayload。

因此，我建议针对以下公开问题跟踪器link上的询问创建功能请求。请注意，功能请求在何时处理或将不会实现方面没有ETA。