将CSV上传到BigQuery失败

Question

我使用了超过3个月的bigquery上传系统，我每隔一小时就将数据推送到bigquery并且一直运行良好。但从昨天开始，我的所有上传都失败了。 bigquery控制台出错时说“列太少：预计有11列但有9列”，第九个字段有一个新的行字符，它在双引号内。这已经过去3个月了，从昨天开始失败了。有帮助吗？

Answer 1

昨天我们开始强制执行不允许引用的换行符，除非传递allowQuotedNewlines标志。 如果您使用的是bq工具，则可以添加--allow_quoted_newlines标志。如果您使用的是java，则可以设置此here。该标志记录在here。

默认情况下禁止引用的换行符允许我们更有效地导入csv文件，因为我们可以将它们拆分为多个并且并行导入。这转化为更快的进口，并允许我们扩大到更大的进口。