数据将由BigQuery存储的位置

Question

我正在使用BigQueryIO从Google Dataflow作业向BigQuery发布数据。

AFAIK，BigQuery可用于查询来自Google云端存储，Google云端硬盘和Google表格的数据。

但是当我们使用BigQueryIO存储数据时，数据将存储在哪里？是在Google云端存储中吗？

Answer 1

简短回答 - BigQueryIO写入/读取BigQuery表

更深入一点：
BigQuery以Capacitor列式数据格式存储数据，并提供表，分区，列和行的标准数据库概念。

它管理存储结构化数据的技术方面，包括压缩，加密，复制，性能调整和扩展。

您可以在BigQuery Overview

中阅读有关BigQuery不同组件的更多信息

Answer 2

BigQuery是一个托管数据仓库，简单地说它是一个数据库。

因此，您的数据将存储在BigQuery中，您可以使用SQL查询来处理它。

Answer 3

云存储是Big Query的单独服务。在内部，Big Query管理自己的存储。

因此，如果您将数据保存到云存储，然后使用bq命令从云存储中的文件加载大查询表，则现在有2个数据副本。

后果包括：

• 如果删除云端存储副本，则数据仍将位于Big Query中。
• 费用包括每份副本的价格。我认为2017年4月BQ的长期存储大约为0.01美元/ GB，云存储大约0.01美元到0.026美元/ GB，具体取决于存储级别。
• 如果GCS和BQ中的数据相同，则需要支付两次。是否值得拥有数据的备份副本取决于您。