我们开发了自定义输入格式来处理edi文件。最近升级到5.8后,select * from table不会返回任何行。
Hive脚本:
*create external table CustomInputTest
(
all_cols String
)
STORED AS INPUTFORMAT 'parser.mapred.X12InputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/user/data/EDI'
TBLPROPERTIES ('edi.schema.hdfs.path' = '/user/data/layout/edi.xsl');*
*set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
select * from CustomInputTest;*
相同的脚本在Hive 1.1.0-cdh5.4.9上返回预期的输出。
在CDH 5.8上,如果禁用hive fetch任务强制查询生成MapReduce,则select查询工作正常。
*set hive.fetch.task.conversion=none*;
我检查过配置单元服务器日志,我没有看到任何错误 如何解决问题,以便hive fetch任务在新版本[5.8]
中工作