Hadoop 2.6 - 范围分区程序

时间:2014-12-15 10:31:25

标签: java hadoop

我正在研究Algorithm: LIBRA to mitigate the data skew的实现,并使用名为range partition的分区逻辑。

现在,我对此进行了研究,发现Hadoop确实附带了这个范围分区功能,但是版本为1.4.1,这里是链接:

http://accumulo.apache.org/1.4/apidocs/org/apache/accumulo/core/client/mapreduce/lib/partition/RangePartitioner.html

我用来实现这个算法的Hadoop版本是2.6。此版本的hadoop可以使用Range Partitioner吗?

感谢您的帮助

1 个答案:

答案 0 :(得分:1)

您提供的链接是Apache Accumulo,它是在hadoop上构建的键/值数据存储 - 但它不是hadoop本身的原生。

https://accumulo.apache.org/

可用于2.6的分区器

  • BinaryPartitioner
  • HashPartitioner
  • KeyFieldBasedPartitioner
  • TotalOrderPartitioner

所以没有没有适用于2.6的RangePartitioner