数据仓库中BigQuery表的归档解决方案

Question

给出一个使用BigQuery构建数据仓库的用例，说明是否需要对所有BigQuery表进行每月备份。最好的选择是什么？

• 将所有表数据导出到云存储（csv？）
• 将所有表复制到另一个数据集（可能在另一个项目中）

考虑到成本和维护，什么是最佳选择？并且，如果有其他选择，也请分享。

Answer 1

将数据从BigQuery移至GCS时，如Free operation文档中所述，无需为导出和加载操作付费；但是，您incur on charges for storing data in GCS将取决于所选存储的类型。该服务提供多区域，区域，近线和热线选项，您可以根据频率选择您需要访问存储的数据。

基于此，如果您要进行备份并且不经常访问数据，则可以使用热线 / 将数据存储在GCS中Nearline 存储或在BigQuery中使用Long-term storage，当连续90天未编辑表格时，将自动应用Active Storage，这将是一些便宜的选择。另一方面，如果您打算积极使用数据，则最好将BigQuery与documentation结合使用，这比将其存储在具有区域性存储的GCS中会花费更多的钱；但是，这将取决于您的特定用例以及您想要与数据进行交互的方式。

关于提取文件格式，BigQuery支持多种可用于加载数据的格式。建议您选中此{{3}}，以帮助您根据数据结构确定最适合当前方案的格式。