Question

我最近在Windows 7（64位）上安装了带有cygwin的Hadoop 1.0.4。我已根据 this site配置了* -site.xml。我能够完美地完成所有事情，但我的程序在这个特定点上挂起：

$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
13/02/12 15:15:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for         
your platform... using builtin-java classes where applicable
13/02/12 15:15:17 WARN snappy.LoadSnappy: Snappy native library not loaded
13/02/12 15:15:17 INFO mapred.FileInputFormat: Total input paths to process : 16
13/02/12 15:15:17 INFO mapred.JobClient: Running job: job_201302121513_0002
13/02/12 15:15:18 INFO mapred.JobClient:  map 0% reduce 0%

我也检查了jobtracker和tasktracker。一个节点是实时节点，总提交量为1，但没有活动作业！什么都没有在那里运行..没有映射/没有减少！我现在非常困惑，我无法做任何其他事情。请帮助wat做下一步。 P.S：我只在一台机器上尝试伪单节点设置。请指导我做什么？甚至jps命令也不起作用？我已将路径设置为C：\ jdk_1.6.0_15。

Answer 1

要使JPS工作，请将路径指定为C:\jdk_1.6.0_15/bin

关于Job未运行，请检查Job-tracker日志。可能是某些配置错误导致作业中止。

您还可以专门尝试在配置中设置最大映射器和缩减器数。它可能设置为零

希望有所帮助

Answer 2

1）使用jps / ps检查你的hadoop条件，所有组件是否都正常工作？

2）检查java版本。必须是sun / oracle jdk＆gt; = 6，检查hadoop-env.sh

中的java配置（主要是JAVA_HOME）

3）检查/hadoop-1.*/lib/native文件夹中的本机库，这些是否支持您的平台？

如果它们不在那里，那么使用这个指令link进行编译，因为（本机库只用* nix平台测试，即Unix / Linux系统，然后按照提到的那样将库加载到你的文件系统中

有用的其他links

即使这不起作用，也请尝试使用hadoop-0.20，因为那可以使用windows-64位例如，您可以尝试

hadoop-0.20.2/bin/hadoop jar /home/trendwise/apache/hadoop-0.20.2/hadoop-0.20.2-examples.jar pi 16 1000

Hadoop1.0.4示例未运行

2 个答案: