什么是mrunit的继任者?

时间:2016-05-18 00:11:50

标签: unit-testing hadoop mapreduce mrunit

今天我发现ASF退役了mrunit(见https://blogs.apache.org/foundation/entry/the_apache_news_round_up85https://issues.apache.org/jira/browse/HADOOP-3733以及homepage itself)。除了"不活动"没有理由,所以我想有必要另类?

将来应该使用什么代替mrunit来测试mapreduce工作呢?

2 个答案:

答案 0 :(得分:5)

我相信退休的原因是Mockito已经能够处理你需要对你的mapper / reducer进行单元测试。您只需要模拟Context,Counter和HBase KeyValue,然后您可以将一行(以Result对象的形式)传递给映射器,并检查发出的键/值是否正确。

仅供参考 - 在没有MRUnit和PowerMock的任何帮助的情况下,我实际上使用这种方法完成了我的MR单元测试。

答案 1 :(得分:3)

不完全是继任者,但我尝试并通过一些研究测试了一个解决方案。它实际上基于hadoop的Minicluster模块。

要了解如何使用它,可以找到详细信息in this link here。还有一个github演示项目exists here