Question

我目前正在尝试将Hadoop与Eclipse集成。我按照here的说明进行操作。但是，当我尝试运行Eclipse项目时，我得到以下输出：

13/04/01 14:55:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/04/01 14:55:11 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
13/04/01 14:55:11 INFO input.FileInputFormat: Total input paths to process : 1
13/04/01 14:55:11 WARN snappy.LoadSnappy: Snappy native library not loaded
13/04/01 14:55:11 INFO mapred.JobClient: Running job: job_local_0001
13/04/01 14:55:11 INFO util.ProcessTree: setsid exited with exit code 0
13/04/01 14:55:11 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@6ea920ad
13/04/01 14:55:11 INFO mapred.MapTask: io.sort.mb = 100
13/04/01 14:55:11 INFO mapred.MapTask: data buffer = 79691776/99614720
13/04/01 14:55:11 INFO mapred.MapTask: record buffer = 262144/327680
13/04/01 14:55:11 WARN mapred.LocalJobRunner: job_local_0001
java.lang.ClassCastException: interface javax.xml.soap.Text
    at java.lang.Class.asSubclass(Class.java:3046)
    at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:774)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:959)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:674)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
13/04/01 14:55:12 INFO mapred.JobClient:  map 0% reduce 0%
13/04/01 14:55:12 INFO mapred.JobClient: Job complete: job_local_0001
13/04/01 14:55:12 INFO mapred.JobClient: Counters: 0
false

我的机器是Linux Ubuntu 12.04，带有Apache Hadoop版本1.04，Oracle Java v1.7和Eclipse 3.7.2。为什么我得到这个输出？如果我做错了什么，有人可以指导我使用经过测试的方法以使其有效吗？

谢谢

P.S。：我正在为想要开始“玩”大数据的本科生写一个维基。因此，一大群人将从一个好的答案中受益：）

Answer 1

请切换到新的API，即“mapreduce”而不是“mapred”。此外，由于您计划为学生编写Wiki，因此更有意义。它们应该是最新的。对吗？如果你需要一些关于如何设置eclipse来编写MapReduce程序的东西，你可能会发现这个link很有用。

Apache Hadoop和Eclipse集成

1 个答案: