为什么Hive＆amp; HiveServer2需要mapred.InputFormat吗？

Question

我只是想确保我没有错过任何东西。我正在为Hive InputFormat处理我们特定的hdfs文件格式。我刚刚意识到它需要扩展mapred.InputFormat而不是mapreduce.InputFormat

这是对的吗？或者我错过了什么？我可以使用FileInputFormat包中的mapreduce吗？

Answer 1

您必须使用mapred.InputFormat Hive尚未完全迁移到新软件包。如果您因任何原因需要/想要使用mapreduce.InputFormat包，您始终可以包装mapreduce.InputFormat。事实上，我所做的就是让它与Hive交互但仍然利用mapreduce包。

编辑：为了在两种类型的API之间进行互操作，我抽象了将文件记录读取到另一个类并在两个InputFormats中使用它的逻辑。