BigQuery表号变得无懈可击 - 如何阻止它？

Question

我们已经记录了3个月的日志信息，而且信息量非常大，因为所有这些表都有日志记录条目，我们希望删除最旧的条目以及存储它们的表。

我们尝试了使用bq命令工具或发出API rest服务请求的不同方法。我们已经成功了。

现在，问题是：是否有更合适的工具可以简化BigQuery中日志表的管理？我正在考虑在Unix / Linux SO上使用像logrotate这样的工具。

Answer 1

我们使用的“工具”是在数据集级别设置的到期日。它可以完全按照您的预期进行，无需您进一步参与 假设您设置了90天 任何新表“automaticaly”都会在创建后的90天内到期。

请参阅https://cloud.google.com/bigquery/docs/reference/v2/datasets

中的“defaultTableExpirationMs”

Answer 2

感谢您的回复非常有用。文档中有一个隐藏的细节，从我的角度来看，它有点不清楚。

对于想要设置 defaultTableExpirationMs 的用户，您需要以秒为单位指定到期时间而不是毫秒数。此值将添加到表创建时间。

我发出命令波罗，并为我工作：

bq update --default_table_expiration 5184000 -d your_project:data_set

注意：表格保持两个月（5184000 = 60 * 60 * 24 * 60）。