sqoop导入包含“,”的数据集的字符串列

时间:2014-12-04 10:56:20

标签: sql hadoop hive sqoop

我导入的数据集包含字符串列,其中包含","在他们中。 当我尝试导入时,字符串值将被拆分为字段。

这是我的sqoop脚本:

sqoop import --connect 'jdbc:sqlserver://XXX.XX.XX.XX:51260;database=Common' -username=BIG_DATA -P --table Carriers --hive-import --hive-table common.Carriers --hive-drop-import-delims --optionally-enclosed-by '\"' --map-column-hive UpdatedDate=string,ResourceID=string --lines-terminated-by '\n' -- --schema Truck -m 10

sqoop命令适用于整数类型的列,但它会拆分字符串列,因为它们在字符串中包含","(camma)。所以在解析包含","

的字符串时有没有办法逃脱它

2 个答案:

答案 0 :(得分:0)

将此 - 字段终止 - 按'^'添加到sqoop导入解决了我的类似问题

答案 1 :(得分:0)

这应该有效

$ sqoop import --fields-terminated-by, - escaped-by \ --enclosed-by' \"' ...