是否有一个选项可以将接收器导出到BigQuery中的列数限制为?

时间:2019-07-08 22:37:06

标签: google-bigquery stackdriver google-cloud-stackdriver

我创建了一个接收器导出,以将审核日志加载到BigQuery中。但是,审核日志中没有大量的列。有没有办法选择和选择接收器导出中的列?

1 个答案:

答案 0 :(得分:0)

我们需要定义我们希望减少列数的原因。我的想法是您担心成本。如果我们查看活动存储,我们会发现当前价格为0.02美元/ GB,每月前10GB免费。如果数据在90天内保持不变,则存储成本将降至$ 0.01 / GB。接下来,我们必须估计一个月记录所有列要使用多少存储空间,而不是只记录要记录的存储空间。如果我们可以做出一些预测,那么我们可以召集如果减少存储使用量,成本可能会发生多少变化。我们将要估计的是每月要导出的日志记录的数量,以及如果今天按原样编写的平均日志记录的大小与仅具有最少需要字段的日志记录的大小。

如果我们确实发现有一个区别可以大大节省成本,那么另一种想法是将日志条目导出到Pub / Sub并让它们触发云功能。但是,我怀疑我们最终可能会发现,由于发布/订阅和云功能(以及可能是BQ流插入)的成本,BQ存储上的节省随后会丢失。

另一个想法可能是意识到将BQ日志记录写入以“ day”命名的表。我们可以执行一个批处理作业,该批作业在写入了一天的记录后才运行,该记录仅将感兴趣的列复制到新表中。再次,我们将不得不注意,在降低存储成本方面,我们最终不会在其他地方获得更高的成本。