单元测试自定义输入和输出格式

Question

我一直试图弄清楚是否可以为自定义输入和输出格式实现开发单元测试。我在MRunit中找到了这个例子：https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial。看起来MRUnit仅适用于测试mapper和reducer。我也看过这篇文章：How to do unit testing of custom RecordReader and InputFormat classes?。但看起来这个特定的例子取决于HDFS路径？

理想情况下，我需要的是能够从IDE环境（Eclipse）测试自定义输入和输出格式实现为junit测试用例。没有可用的单节点/多节点集群设置。在这种情况下我们如何进行单元测试？

Answer 1

您几乎可以执行线程中指定的相同操作：How to do unit testing of custom RecordReader and InputFormat classes?

以下设置实际上使HDFS代码以本地伪模式运行：

conf.set("fs.default.name", "file:///");