Question

当带有多行列的文本格式的hive表转换为ORC格式时，它无法正确读取列。

具有自定义记录分隔符的Hive表

CREATE EXTERNAL TABLE IF NOT EXISTS MULTILINE_XML_TXT
(id INT, name STRING, xml STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat'
LOCATION '/practice/xml/multiline/mysql/text/in/'
TBLPROPERTIES ('textinputformat.record.delimiter'='#');

上表中的xml列包含多行数据。当我从这个表中查询时，我看到了正确的数据。

上表中的示例数据（2行）

100  xyz  <employees><employee><age>26</age>
</employee><employee><age>45</age>
</employee></employees>
200  abc  <employees><employee><age>20</age>
</employee><employee>
<age>50</age></employee></employees>

我使用ORC格式创建了另一个表，并将数据从文本表复制到ORC表，但转换不正确。

CREATE TABLE IF NOT EXISTS MULTILINE_XML_ORC
(id INT, name STRING, xml STRING) STORED AS ORC;

INSERT OVERWRITE TABLE MULTILINE_XML_ORC
SELECT id, name, xml FROM MULTILINE_XML_TXT;

执行查询select * from MULTILINE_XML_ORC会得到以下结果，这是错误的。

100    xyz    <employees><employee><age>26</age>
NULL   NULL   NULL
NULL   NULL   NULL
NULL   NULL   NULL
NULL   abc    <employees><employee><age>20</age>
NULL   NULL   NULL
NULL   NULL   NULL
NULL   NULL   NULL
NULL   NULL   NULL

有什么想法吗？

Hive文本格式，多行列到ORC

0 个答案: