我已经完成了一些使用Python Hadoop Streaming的工作,我认为如果我学习Java并开始学习用Java编写Mapreduce并且更好地理解hadoop代码库,那将会更有帮助。
我想运行wordcount示例并逐步浏览每一行来学习它。但是,我设置了Eclipse和Maven,最后我让所有的红色错误都消失了,但毕竟,在我面前只是被弃用的代码段落。
(1)。我只是在浪费时间去学习很快就会失效的东西吗?
(2)。是否可以使用Eclipse逐步完成Map Reduce,这样您就可以很好地了解每一步后发生的事情?我不是Java程序员,但我100%参与并希望学习它。任何人都可以指出我正确的方向来学习它吗? DEBUG? JUNIT?
答案 0 :(得分:1)
首先,学习Java和MapReduce将使我们更深入地了解MapReduce的工作原理。 您使用的Hadoop版本可能是高版本,旧的MapReduce API已被弃用,鼓励使用新的API。
如果您想了解MR的工作原理,可以使用远程调试,打开DEBUG级别日志,使用相关的JUnit测试类,深入了解源代码。
很好地了解MR是如何工作的。