MapReduce的Hadoop Maven依赖项

时间:2014-09-22 19:36:16

标签: maven hadoop mapreduce

我正在尝试在单节点集群中编写mapreduce程序(hadoop 2.4)。我在maven中央存储库中找到了hadoop的maven依赖项。

http://mvnrepository.com/artifact/org.apache.hadoop

编写map-reduce程序需要所有这些依赖项(包括在pom.xml中)?

谢谢!

1 个答案:

答案 0 :(得分:0)

hadoop-core通常足以编写map-reduce作业。由于在群集上运行作业时,hadoop库应该可用,因此可以在依赖项中添加<scope>provided</scope>

对于单元测试,您可以使用org.apache.mrunit依赖<scope>test</scope>