Google BigQuery数据集导出

Question

我尝试使用Google BigQuery为GitHub数据挑战下载大型数据集。我设计了我的查询，并且能够在Google BigQuery的控制台中运行它，但我不允许将数据导出为CSV，因为它太大了。推荐的帮助告诉我将其保存到表中。这需要我在我的帐户上启用结算并根据我的情况付款。

有没有办法将数据集保存为CSV（或JSON）文件，以便在不付款的情况下导出？

为了澄清，我不需要在Google的云上使用这些数据，我只需要能够下载一次。无需持久存储。

Answer 1

如果您可以在不启用应用程序结算的情况下启用BigQuery API，则可以尝试使用getQueryResult API call。您最好的选择可能是启用结算（您可能不会因为您需要的有限使用而被收取费用，因为您可能会保留在免费套餐中，但如果您收取费用，它应该只是几美分）并将您的查询保存为Google Storage object。如果它太大我不认为你能够有效地使用Web UI。

Answer 2

请参阅准确的主题文档：

• https://developers.google.com/bigquery/exporting-data-from-bigquery

摘要：使用extract操作。您可以导出CSV，JSON或Avro。导出是免费的，但您需要激活Google云端存储才能将结果文件放在那里。

Answer 3

使用BQ命令行工具 $ bq查询

使用--format标志将结果保存为CSV。