将文件加载到带有长文本列的配置单元中

时间:2019-03-02 23:23:02

标签: hadoop hive hiveql

我正在尝试将.csv文件加载到配置单元中,该文件如下所示:

enter image description here

我尝试使用load data inpath 's3://testinghiveme/T.csv' into table data;

但结果为所有NULLS

enter image description here

我无法将带有大文本的数据加载到配置单元列中,我尝试在create脚本中使用定界符,但不起作用。

create table t(id int...)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;


hive> describe t;
OK
id                      int
posttypeid              int
acceptedanswerid        int
parentid                int
creationdate            varchar(20)
deletiondate            varchar(20)
score                   int
viewcount               int
body                    varchar(500)
owneruserid             int
ownerdisplayname        varchar(50)
lasteditoruserid        int
lasteditordisplayname   varchar(100)
lasteditdate            varchar(20)
lastactivitydate        varchar(20)
title                   varchar(100)
tags                    varchar(100)
answercount             int
commentcount            int
favoritecount           int
closeddate              varchar(20)
communityowneddate      varchar(20)

1 个答案:

答案 0 :(得分:0)

您要么需要使用CSVserde附带的DDL中的用户转义字符。 或者您可以使用除逗号以外的定界符。