将数据从VM实例传输到GCP中的BigQuery

Question

我正在尝试将一些文件传输到BigQuery，这些文件存储在我的VM实例中。通常，我们执行两步过程：

1. 将文件从VM实例传输到Cloud Storage存储桶。
2. 将数据从Cloud Storage存储桶中获取到BigQuery。

现在，我想直接将文件从VM实例获取到BigQuery平台。有什么办法吗？

Answer 1

您可以使用以下方法直接从可读数据源（例如本地计算机）中加载数据：

• 云控制台或传统的BigQuery网络用户界面
• bq命令行工具的bq加载命令
• API
• 客户端库

请按照official documentation来查看使用每种方法的示例。

此外，如果您想保留将文件发送到Cloud Storage存储桶的想法，可以考虑使用Dataflow模板：

• 云存储文本到BigQuery（Stream）
• 云存储文本到BigQuery（Batch）

允许您读取存储在Cloud Storage中的文本文件，使用提供的JavaScript用户定义函数（UDF）对其进行转换，然后将结果输出到BigQuery。这是自动化的解决方案。

我希望以上信息对您有用。

Answer 2

解决方案是为此使用bq命令。 该命令将如下所示： bq加载--autodetect --source_format = CSV x.y abc.csv