如何使用python在bigquery中修复上载csv文件

时间:2019-01-07 09:06:45

标签: python google-cloud-platform google-bigquery google-cloud-storage

通过存储在BigQuery上上传csv文件时,出现以下错误: CSV表遇到太多错误,放弃了。行数:5;错误:1.请查看错误流以获取更多详细信息。

在架构中,我将所有参数都用作字符串。

在csv文件中,我有以下数据:

是时候了。用我的风格说“我愿意”。

我无法在BigQuery中上传包含上述句子的csv文件

2 个答案:

答案 0 :(得分:0)

CSV文件是否具有与数据集架构完全相同的结构?两者都必须匹配,上传才能成功。

如果您的CSV文件在第一列的第一行中只有一个句子,则您的架构必须有一个表,其中的字段正好是STRING。如果CSV的第二列中有内容,则该架构必须为其提供第二个字段,依此类推。相反,如果您的方案中有2个字段设置为STRING,则CSV的前两列中必须有数据。

数据位置也必须匹配,如果您的BigQuery数据集位于美国,那么您的Cloud Storage存储桶也必须位于美国,以便上传成功。

Check here,了解将CSV上传到BigQuery的详细信息。

答案 1 :(得分:0)

感谢所有人的答复。

这是我解决这个问题的方法:

  

,其中open('/ path / to / csv / file','r')为f:       文字= f.read()

     

converted_text = text.replace('“',”'“)打印(converted_text)

     

,其中open('/ path / to / csv / file','w')为f:       f.write(converted_text)