我想在我的应用程序上实现hive + hadoop map reduce程序, 我仍然想知道,因为我已经多次尝试查询和查找有关hive中地图缩减程序的信息..
我的问题是,hive有自己的地图缩减程序吗? 因为当我尝试轻微的复杂查询时,日志就像:Job running in-process (local Hadoop)
2011-05-26 14:10:02,004 null map = 100%, reduce = 100%
Ended Job = job_local_0001
在该查询中有地图缩小过程,然后如果我尝试谷歌一些在hive中实现的地图缩减程序,还可以选择创建我们的地图缩减程序..
我的意见是,我们可以使用配置单元来处理数据挖掘(大型查询)(我不知道对错吗?请纠正我) 我们可以创建我们的map reduce程序,在hive中为特定任务实现(是真的吗?)
对此有任何解释吗?
谢谢你们所有的解释和关注,对不起我的坏英语......谢谢......:D答案 0 :(得分:2)
不,它使用Hadoop的MapReduce。但它使用MapReduce来聚合查询所需的数据。 因此,如果您搜索了每个值以及特定键,Hive将在您的输入上运行MapReduce作业以获取数据。
基本上,HIVE使用mapreduce并将SQL-Like语言转换为MapReduce作业。