假设我想使用“订购方式”条款执行选择查询,我的数据通过多台计算机进行分发。 地图缩小获取数据的方式及其执行位置“排序依据”查询。
答案 0 :(得分:0)
Map-Reduce可用于实现分布式" Order By"。
...雅虎的一个Hadoop集群在209中分类了1TB的数据 秒......排序使用1800张地图,1800缩小......
这可以通过将订单键按其值映射到范围来完成。
但是,Hive正在实施" Order By"用一个减速器。...为了强加所有结果的总顺序,必须有一个 reducer对最终输出进行排序。如果输出中的行数 太大了,单个减速机可能需要很长时间才能完成 光洁度...