使用哪个版本的Hadoop API

时间:2012-06-28 08:59:27

标签: java hadoop mapreduce hdfs

有多个版本的Hadoop API可作为Cloudera和Yahoo发行版的一部分提供。此外,对于Cloudera,有cdh3u1到cdh3u4版本。

我看到API方法的名称和接受的参数也会发生变化。

我可以使用哪个版本的Hadoop API,哪个版本最新且稳定?

1 个答案:

答案 0 :(得分:1)

  

我可以使用哪个版本的Hadoop API,哪个版本最新且稳定?

首先要注意的是,最新且稳定的API不能放在一起。最新的API需要一段时间才能变得坚如磐​​石,所有的错误都会被发现并修复。

如果您对打包软件感兴趣,请转到Cloudera并下载稳定版或Alpha版并试用。对于HortonWorks,您可以下载HDP 1.0,这是唯一可用的版本。 Cloudera定期发布CDH接近4年,因此与HortonWorks的HDP相比更加成熟。 CDH已经包含了下一代MapReduce,而HDP则采用了传统的MapReduce架构。

上面提到的软件包(CDH和HDP)有一套很好的集成和测试的框架。因此,学习如何使用框架是一个问题。无需担心不同框架之间的互操作性问题。

如果您想真正了解Hadoop,我建议您从Apache Hadoop下载该软件,然后继续安装和配置。这同样适用于Pig,Hive和其他软件。您可能会发现一些兼容性问题,这些问题必须在您继续时解决。

Apache Hadoop空间中,有1x轨道具有稳定的传统MR架构,然后是具有next generation MapReduce architecture的2x轨道。