BigQuery 从云存储传输 csv 时出错

时间:2021-06-10 12:55:33

标签: csv google-cloud-platform google-bigquery

我正在尝试在 bigquery 中创建一个表,以从谷歌存储传输 csv。这个 csv 有 3000 万行,我收到了这些错误,例如:

“读取数据时出错,错误消息:从位置 254333656 开始的行中有太多值。发现 4 列,而预期为 3”

“读取数据时出错,错误消息:从位置 254312106 开始的行中有太多值。发现 4 列,而预期为 3。”

这很尴尬,我的 csv 中没有所有这些行。它在第 2.5 亿行发现了错误。怎么可能??

谢谢

1 个答案:

答案 0 :(得分:0)

错误指出 position 254333656 处存在问题,而不是 row

这意味着错误位于距文件开头 254333656 个字符处(这使得调试非常困难)。

为了解决您的问题,您可以:

  • 检查您的标题是否确实有 4 列(BQ 似乎需要 3 列,但您说您需要 4 列)

  • 也许可以尝试在 bq 加载语句中加入 --allow_jagged_row=true 标志。