Hadoop Mapreduce功能

时间:2017-03-21 10:34:32

标签: hadoop hive

假设我想使用“订购方式”条款执行选择查询,我的数据通过多台计算机进行分发。 地图缩小获取数据的方式及其执行位置“排序依据”查询。

1 个答案:

答案 0 :(得分:0)

Map-Reduce可用于实现分布式" Order By"。

  

...雅虎的一个Hadoop集群在209中分类了1TB的数据   秒......排序使用1800张地图,1800缩小......

     

Apache Hadoop Wins Terabyte Sort Benchmark

这可以通过将订单键按其值映射到范围来完成。

但是,Hive正在实施" Order By"用一个减速器。

  

...为了强加所有结果的总顺序,必须有一个   reducer对最终输出进行排序。如果输出中的行数   太大了,单个减速机可能需要很长时间才能完成   光洁度...

     

Hive - LanguageManual - Sort By - Syntax of Order By