我正在尝试在单节点集群中编写mapreduce程序(hadoop 2.4)。我在maven中央存储库中找到了hadoop的maven依赖项。
http://mvnrepository.com/artifact/org.apache.hadoop
编写map-reduce程序需要所有这些依赖项(包括在pom.xml中)?
谢谢!
答案 0 :(得分:0)
hadoop-core
通常足以编写map-reduce作业。由于在群集上运行作业时,hadoop库应该可用,因此可以在依赖项中添加<scope>provided</scope>
。
对于单元测试,您可以使用org.apache.mrunit
依赖<scope>test</scope>