Hadoop字数统计MapReduce教程已弃用

时间:2013-12-26 23:18:06

标签: java hadoop

我已经完成了一些使用Python Hadoop Streaming的工作,我认为如果我学习Java并开始学习用Java编写Mapreduce并且更好地理解hadoop代码库,那将会更有帮助。

我想运行wordcount示例并逐步浏览每一行来学习它。但是,我设置了Eclipse和Maven,最后我让所有的红色错误都消失了,但毕竟,在我面前只是被弃用的代码段落。

(1)。我只是在浪费时间去学习很快就会失效的东西吗?

(2)。是否可以使用Eclipse逐步完成Map Reduce,这样您就可以很好地了解每一步后发生的事情?我不是Java程序员,但我100%参与并希望学习它。任何人都可以指出我正确的方向来学习它吗? DEBUG? JUNIT?

enter image description here

1 个答案:

答案 0 :(得分:1)

首先,学习Java和MapReduce将使我们更深入地了解MapReduce的工作原理。 您使用的Hadoop版本可能是高版本,旧的MapReduce API已被弃用,鼓励使用新的API。

如果您想了解MR的工作原理,可以使用远程调试,打开DEBUG级别日志,使用相关的JUnit测试类,深入了解源代码。

很好地了解MR是如何工作的。