如何使用eclipse调试hadoop wordcount？

Question

我想使用eclipse调试wordcount，因为我想看看作业如何在JobTracker中运行。但是hadoop使用Proxy，我不知道如何在JobTracker中运行的具体过程。我该如何调试？

Answer 1

最好针对单节点集群（例如Cloudera或Hortonworks提供的沙箱之一）进行“本地”调试：这样您就可以真正单步执行代码，因为只有一个映射器/减速器在运行。这至少是我的方法：通常我必须调试的问题是与特定文件的内容有关;我只是将相关文件复制到我的测试系统并在那里进行了调试。