我正在尝试在Hadoop 1.0.4上的c ++中运行wordcount示例,在Ubuntu 12.04上,但是我收到以下错误:
命令:
hadoop pipes -D hadoop.pipes.java.recordreader = true -D hadoop.pipes.java.recordwriter = true -input bin / input.txt -output bin / output.txt -program bin / wordcount。
错误讯息:
13/06/14 13:50:11 WARN mapred.JobClient:没有工作jar文件集。用户 可能找不到课程。请参阅JobConf(Class)或 JobConf#setJar(字符串)。 13/06/14 13:50:11 INFO util.NativeCodeLoader: 加载了native-hadoop库13/06/14 13:50:11警告 snappy.LoadSnappy:没有加载Snappy本地库13/06/14 13:50:11 INFO mapred.FileInputFormat:要处理的总输入路径:1 13/06/14 13:50:11 INFO mapred.JobClient:正在运行的职位:job_201306141334_0003 13/06/14 13:50:12 INFO mapred.JobClient:地图0%减少0%13/06/14 13:50:24 INFO mapred.JobClient:任务ID: attempt_201306141334_0003_m_000000_0,状态:未成功 java.io.IOException at org.apache.hadoop.mapred.pipes.OutputHandler.waitForAuthentication(OutputHandler.java:188) 在 org.apache.hadoop.mapred.pipes.Application.waitForAuthentication(Application.java:194) 在 org.apache.hadoop.mapred.pipes.Application。(Application.java:149) 在 org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:71) 在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436) 在org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)at org.apache.hadoop.mapred.Child $ 4.run(Child.java:255)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:415)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 在org.apache.hadoop.mapred.Child.main(Child.java:249) attempt_201306141334_0003_m_000000_0:服务器无法进行身份验证。 退出13/06/14 13:50:24 INFO mapred.JobClient:任务ID: attempt_201306141334_0003_m_000001_0,状态:未通过
我没有找到任何解决方案,而且我已经尝试了很长一段时间才能让它发挥作用。
感谢您的帮助, 感谢。
答案 0 :(得分:0)
发现这个问题(hadoop not running in the multinode cluster),其中该用户遇到了类似的错误,最终他们根据最佳答案没有“设置班级”。然而,这是Java。
我找到了关于在Hadoop中运行C ++ wordcount示例的教程。希望这会帮助你。 http://cs.smith.edu/dftwiki/index.php/Hadoop_Tutorial_2.2_--_Running_C%2B%2B_Programs_on_Hadoop