蜂巢：如何处理数据文件中带有分隔符的文件？

Question

我有以下数据需要插入到配置单元表中。数据在文件中具有默认的分隔符。如何插入配置单元表？

10,Andrew,Man”,”ager,DE,PC
11,Arun,Manager,NJ,PC
12,Harish,Sales,NJ,MAC
13,Robert,Manager,PA,MAC
14,Laura,Engineer,PA,MAC

谢谢！

Answer 1

尝试使用CSV Serde

create table test_table(id int,...)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
   "separatorChar" = ",",
   "quoteChar"     = "”",
   "escapeChar"    = "\\"
)

根据数据更改quoteChar

Answer 2

您有两个选择，首先可以使用"|"（管道）作为分隔符，然后插入到配置单元表中，否则必须将数据字段括在双引号" "中，然后使用OpenCSV Serde为您的Hive表创建DDL时。现在您可以查询表，并且Hive将正确显示数据。