Question

我正在尝试使用python运行hadoop流式map-reduce作业。我一直收到此错误消息，不知道如何修复它。

这是我正在使用的命令。

hdfs -jar /usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar -input /input/ -output /out22 -mapper "python /mapper.py" -file /mapper.py -file /reducer.py -reducer "python /reducer.py"

这是错误信息。

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/Tool
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2570)
    at java.lang.Class.getMethod0(Class.java:2813)
    at java.lang.Class.getMethod(Class.java:1663)
    at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494)
    at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.util.Tool
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 6 more

我在做什么有什么不对吗？请帮忙。

Answer 1

您正在尝试的命令是错误的，您应该使用hadoop命令，如下所示。

hadoop jar /usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar -input / input / -output / out22 -mapper“python /mapper.py”-file /mapper.py -file /reducer.py -reducer“python /reducer.py

hdfs命令用于HDFS（Hadoop文件系统）相关操作，其中hadoop是常用实用程序，可用于mapreduce以及hdfs操作。

您可以使用mapred jar或yarn jar命令，而不是使用hadoop命令，取决于您所拥有的mapreduce框架（经典或纱线）

用hadoop进行python流不通

1 个答案: