无法从具有自定义inputformat的配置单元表中进行选择

时间:2017-02-02 17:23:31

标签: hadoop hive cloudera

我们开发了自定义输入格式来处理edi文件。最近升级到5.8后,select * from table不会返回任何行。

Hive脚本:

*create external table CustomInputTest
(
  all_cols String
)
STORED AS INPUTFORMAT 'parser.mapred.X12InputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/user/data/EDI'
TBLPROPERTIES ('edi.schema.hdfs.path' = '/user/data/layout/edi.xsl');*

*set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

 select * from CustomInputTest;*

相同的脚本在Hive 1.1.0-cdh5.4.9上返回预期的输出。

在CDH 5.8上,如果禁用hive fetch任务强制查询生成MapReduce,则select查询工作正常。

*set hive.fetch.task.conversion=none*;

我检查过配置单元服务器日志,我没有看到任何错误 如何解决问题,以便hive fetch任务在新版本[5.8]

中工作

0 个答案:

没有答案