CSV值的bigquery模式

时间:2014-05-06 20:52:28

标签: python sql google-bigquery google-cloud-storage google-cloud-sql

我正在尝试使用bq-command line工具将数据加载到bigquery中。数据采用以下方案(TSV):

time_stamp:INTEGER
id:INTEGER
url:STRING (-- unused/ignore)
domain:STRING
keyword:STRING
normalized_key:STRING (-- comma separated list)
is_natural:BOOLEAN (as "t"/"f")
category_code:STRING
p_id:STRING

但我收到了以下错误

File: 0 / Line:120642 / Field:5: Data between close double quote
(") and field separator: field starts with: <massive >
File: 0 / Line:127690 / Field:1: Value cannot be converted to
expected type.

我的理解是

  • 文件:0 /行:120642 /字段:5:关闭双引号之间的数据 (“)和字段分隔符:字段以: - &gt;开头:这是因为字段:5的值是逗号分隔列表

  • 文件:0 /行:127690 /字段:1:无法转换为值 预期的类型。 - &GT;实际字段值与预期的类型不同。

如何使用bigquery以逗号分隔列表作为字段:5值&amp;忽略字段值与预期类型不同的记录

1 个答案:

答案 0 :(得分:0)

尝试将引号char设置为'\ 0'或表中未显示的内容。 TSV文件通常不会引用字段(即,您没有看起来像a\t"foo bar"\tbaz的行),所以除非您有应引用的标签字符(这在TSV中不太可能),否则这应该可以正常。< / p>