Google Bigquery - 批量加载

Question

我们有一个包含300列的csv文件。大小约为250 MB。试图通过Web UI将其上传到BQ，但架构规范很难。我期待BQ会识别文件标题，但除非我遗漏了某些内容，否则它似乎无法识别。是否有前进的方向？

Answer 1

是的，您必须自己编写架构。 Bigquery无法自动进入它。如果你有300列，我建议编写一个脚本来自动创建模式。

使用命令行工具（cf here）如果您有一些错误/不同架构的行，您可以使用以下选项继续其他记录：

--max_bad_records : The maximum number of bad rows to skip before the load job 

在您的情况下，如果您想跳过第一行标题，可以是以下内容：

bq load --skip_leading_rows=1 --max_bad_records=10000 <destination_table> <data_source_uri> [<table_schema>]