Hadoop API Jars组织

时间:2015-11-22 01:20:03

标签: java maven hadoop yarn cloudera-cdh

我是一名初学Hadoop开发人员,并且在某种程度上已经使用map-reduce应用程序大约几个月,但我对maven依赖项和jar导入的工作原理感到困惑。为了编写一个完整的map-reduce程序,我需要在pom文件中包含哪些依赖项。到目前为止,我很惭愧地说我只是在左右添加依赖项,直到我的导入不再导致错误。我尝试在线查看,但我永远无法得到一个可靠的答案。到目前为止,这就是我所知道的

这是我需要使用的存储库: Cloudera(我需要使用CDH5.3 Hadoop 2.5和YARN)

以及一整套工件:http://mvnrepository.com/artifact/org.apache.hadoop

有人可以帮我解决这个问题。我正在开发运行Hadoop 2.50的CDH5.3平台。什么是我可以使用的最新API以及我需要包含哪些工件和依赖项来覆盖我的所有基础。 (即使用分布式缓存,文件系统,最新可能的版本,如job(应该替换分布式缓存)

非常感谢

0 个答案:

没有答案