如何在不创建架构的情况下将CSV文件加载到BigQuery中

Question

我想将CSV文件加载到大查询表中，CSV文件是实时创建的，这种类型的文件修复架构很难。任何人都可以帮助如何使用python将csv文件加载到大查询中。 / p>

我有一个运行bq命令行的解决方案，将csv文件加载到bq表中。 请帮我如何使用python执行bq命令工具。 我想在python中的解决方案如何解决这个问题 提前致谢

Answer 1

如果您在 Google Cloud 中使用 bq 方法，请尝试：

bq \
--project_id your_project_id_from_gcp \
--location=US \                                   
load \
--autodetect \                                    
--ignore_unknown_values \
--source_format=NEWLINE_DELIMITED_JSON \          
'table_name.examplev1' \                         
/Users/.../file.json   

这个例子是使用JSON文件，BQ与CSV工程太等格式，你只需要改变“source_format”和你的“文件”。

Answer 2

您是否尝试过Schema Autodetect？ https://cloud.google.com/bigquery/docs/schema-detect