我正在尝试在 bigquery 中创建一个表,以从谷歌存储传输 csv。这个 csv 有 3000 万行,我收到了这些错误,例如:
“读取数据时出错,错误消息:从位置 254333656 开始的行中有太多值。发现 4 列,而预期为 3”
“读取数据时出错,错误消息:从位置 254312106 开始的行中有太多值。发现 4 列,而预期为 3。”
这很尴尬,我的 csv 中没有所有这些行。它在第 2.5 亿行发现了错误。怎么可能??
谢谢
答案 0 :(得分:0)
错误指出 position
254333656 处存在问题,而不是 row
。
这意味着错误位于距文件开头 254333656 个字符处(这使得调试非常困难)。
为了解决您的问题,您可以:
检查您的标题是否确实有 4 列(BQ 似乎需要 3 列,但您说您需要 4 列)
也许可以尝试在 bq 加载语句中加入 --allow_jagged_row=true 标志。