Hadoop C ++,运行wordcount示例时出错

时间:2013-06-14 11:54:34

标签: c++ hadoop

我正在尝试在Hadoop 1.0.4上的c ++中运行wordcount示例,在Ubuntu 12.04上,但是我收到以下错误:

命令:

  

hadoop pipes -D hadoop.pipes.java.recordreader = true -D   hadoop.pipes.java.recordwriter = true -input bin / input.txt -output   bin / output.txt -program bin / wordcount。

错误讯息:

  

13/06/14 13:50:11 WARN mapred.JobClient:没有工作jar文件集。用户   可能找不到课程。请参阅JobConf(Class)或   JobConf#setJar(字符串)。   13/06/14 13:50:11 INFO util.NativeCodeLoader:   加载了native-hadoop库13/06/14 13:50:11警告   snappy.LoadSnappy:没有加载Snappy本地库13/06/14 13:50:11   INFO mapred.FileInputFormat:要处理的总输入路径:1 13/06/14   13:50:11 INFO mapred.JobClient:正在运行的职位:job_201306141334_0003   13/06/14 13:50:12 INFO mapred.JobClient:地图0%减少0%13/06/14   13:50:24 INFO mapred.JobClient:任务ID:   attempt_201306141334_0003_m_000000_0,状态:未成功   java.io.IOException at   org.apache.hadoop.mapred.pipes.OutputHandler.waitForAuthentication(OutputHandler.java:188)     在   org.apache.hadoop.mapred.pipes.Application.waitForAuthentication(Application.java:194)     在   org.apache.hadoop.mapred.pipes.Application。(Application.java:149)     在   org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:71)     在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)     在org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)at   org.apache.hadoop.mapred.Child $ 4.run(Child.java:255)at   java.security.AccessController.doPrivileged(Native Method)at   javax.security.auth.Subject.doAs(Subject.java:415)at   org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)     在org.apache.hadoop.mapred.Child.main(Child.java:249)   attempt_201306141334_0003_m_000000_0:服务器无法进行身份验证。   退出13/06/14 13:50:24 INFO mapred.JobClient:任务ID:   attempt_201306141334_0003_m_000001_0,状态:未通过

我没有找到任何解决方案,而且我已经尝试了很长一段时间才能让它发挥作用。

感谢您的帮助, 感谢。

1 个答案:

答案 0 :(得分:0)

发现这个问题(hadoop not running in the multinode cluster),其中该用户遇到了类似的错误,最终他们根据最佳答案没有“设置班级”。然而,这是Java。

我找到了关于在Hadoop中运行C ++ wordcount示例的教程。希望这会帮助你。 http://cs.smith.edu/dftwiki/index.php/Hadoop_Tutorial_2.2_--_Running_C%2B%2B_Programs_on_Hadoop