将CSV文件从Google云端硬盘加载到BigQuery

Question

我想将Google云端硬盘中的CSV数据完全下载到Bigquery，就像其中的原生表一样。但是，当我想上传我的数据时，表类型选项不可用，我别无选择，只能使用“外部表”选项。

这真的很不方便，因为我将来获得的数据量对于云端硬盘存储来说将变得非常重要。

我的问题是：是否可以将驱动器中的CSV文件作为本机表加载到BigQuery，或者我是否必须在两者之间使用Google Storage，这使得该过程比现在更加复杂？

Answer 1

1. 在云端硬盘上创建文件的外部表格。
2. 运行CREATE TABLE dataset.NewTable AS SELECT * FROM dataset.ExternalTable表单的查询。现在，您可以在BigQuery托管表中获取文件内容，而无需复制到云存储。

Answer 2

您只能使用 Big Query 界面来执行此操作。它是使用 2 个表完成的：

1. 创建一个表格，该表格将链接到您的来源（CSV 或 Google Drive 上的 GSheets，CSV 对我来说更好）。为此，请在 BigQuery 中单击“新表”，选择“驱动器”源并添加指向 CSV 的链接。然后完成所有其他设置并单击“创建表”。

2. 为第一个表创建查询，单击齿轮图标并在目标的查询设置中选择“为查询结果设置目标表”。添加新表的名称，在目标表首选项中选择“如果为空则写入”，完成所有其他设置即可完成。下次如果您想向该表添加内容，您可以从第一个表更新您的 CSV 并选择“附加”或“重写”选项。

如果您需要了解所有其他设置，可以阅读 BigQuery 文档。