我想知道在BigQuery中备份数据的最佳策略是什么?
到目前为止,我们使用BigQuery来存储来自不同来源的许多不同数据集。我们将原始数据(csv文件)存储在一边,但是从它们重新创建整个过程将是一件困难且耗时的任务。
有没有办法制作项目中所有数据集/表的快照?
答案 0 :(得分:4)
因此,如果您为上下文命名,那么这里的问题通常是有意义的。
BigQuery是一项托管服务,因此您的数据会被复制,并且您信任Google Cloud,它将始终可用。如果失败,BigQuery工程师将处理这种情况,您无法启动回滚或修复或其管理的任何内容。
假设所有数据都以某种方式被消灭(大地震+轰炸击中了几个数据中心等等)。如果您没有再次构建源,则数据会丢失。对于您保管的其他数据而言,这也适用于BQ项目。也许你的CEO凭证被黑客用来先清除你所有的备份,然后是你当前的实例,因此所有公司的数据都会丢失,而且你不能将任何数据重建回正常状态,因为你不会这样做。再也没有备份了。
为了准备应对BQ服务关闭的最终灾难,或Google正在关闭它的服务或任何更糟糕的情况,您需要备份来重建您的数据。如果您保留原始文件并能够重播它们就足够了。我们通常存储这几年,我们可能会考虑将所有其他数据重新定位到不同的提供商,例如:天网数据中心等:)我们可以再次使用它们重播我们的数据库状态。
您可以export the BigQuery tables和数据到Google云端存储,您可以从那里移动到任何需要冷藏的地方等等。此外,当您想要恢复时,您还可以导入大到5TB的文件。