测试在Hadoop中运行的应用程序

Question

我是新手测试。是否有一些测试框架来测试在Hadoop中运行的应用程序。我有一些在2节点集群中运行的jar文件。

Answer 1

您可以从Hadoop测试开始的第一个地方就是使用MRUnit编写本地单元测试。它相当于JUnit，但是用于编写MapReduce的单元测试。

• MRUnit教程 - https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial

Answer 2

您还可以通过设置配置在本地jobtracker jvm上运行开发测试：

Configuration conf = new Configuration();
conf.set("fs.default.name", "file:///");
conf.set("mapred.job.tracker", "local");

Path input = new Path(getClass().getResource("/") + "testfile");
Path output = new Path(getClass().getResource("/") + "testfile_output");

您可以参考“Hadoop Definitive Guide”一书的第5章