使用Hadoop helloworld和非泛型Iterator进行Java版本配置

时间:2012-12-18 17:11:49

标签: hadoop javac rhel

我正在研究已经安装了hadoop并且已经被其他用户大量使用和测试的RHEL英特尔集群。我正在尝试学习使用该框架,所以我从这里开始教程:http://hadoop.apache.org/docs/r0.17.0/mapred_tutorial.html

所以,我将上面链接中的WordCount.java的源代码复制到了〜/ hadooptest /中,并按照编译说明进行了一些微小的修改来修复版本错误,这里也是编译尝试的输出。作为一些相关的系统信息。

[X@X hadooptest]$ pwd
/home/X/hadooptest
[X@X hadooptest]$ javac -version
Eclipse Java Compiler v_677_R32x, 3.2.1 release, Copyright IBM Corp 2000, 2006. All rights reserved.
[X@X hadooptest]$ $JAVA_HOME/bin/java -version
java version "1.6.0_24"
Java(TM) SE Runtime Environment (build 1.6.0_24-b07)
Java HotSpot(TM) 64-Bit Server VM (build 19.1-b02, mixed mode)
[X@X hadooptest]$ hadoop version
Hadoop 0.20.2-cdh3u5
Subversion file:///data/1/tmp/topdir/BUILD/hadoop-0.20.2-cdh3u5 -r 30233064aaf5f2492bc687d61d72956876102109
Compiled by root on Fri Oct  5 18:45:42 PDT 2012
From source with checksum de1770d69aa93107a133657faa8ef467
[X@X hadooptest]$ javac -source 5.0 -classpath /usr/lib/hadoop-1.0.1/hadoop-core-1.0.1.jar -d wordcount_classes/ WordCount.java
----------
1. ERROR in WordCount.java (at line 0)
    package org.myorg;
    ^
The type Iterator is not generic; it cannot be parameterized with arguments <V2>
----------
2. ERROR in WordCount.java (at line 29)
    public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
                                 ^^^^^^^^
The type Iterator is not generic; it cannot be parameterized with arguments <IntWritable>
----------
2 problems (2 errors)[X@X hadooptest]$ 

我知道这个问题可能并不是Hadoop所特有的,但我主要不是Java用户。当我习惯使用Hadoop的本地语言时,我可能会选择切换到使用C ++库(但这是另一天的故事)。我搜索了这个问题,我发现它通常表示使用1.4.X JRE ......我们也有:

[fraha1@intel06 hadooptest]$ java -version
java version "1.4.2"
gij (GNU libgcj) version 4.1.2 20080704 (Red Hat 4.1.2-48)

Copyright (C) 2006 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
[fraha1@intel06 hadooptest]$ $JAVA_HOME/bin/java -version
java version "1.6.0_24"
Java(TM) SE Runtime Environment (build 1.6.0_24-b07)
Java HotSpot(TM) 64-Bit Server VM (build 19.1-b02, mixed mode)

我已将〜/ .bash_profile设置为指向1.6 JRE,但可能javac配置为仍然重定向到默认1.4。我该如何解决这个问题?

1 个答案:

答案 0 :(得分:1)

我认为你的Java环境配置搞得一团糟。

如果在系统中安装了alternatives命令(如果没有安装),则可以轻松处理不同的Java安装。只需输入:

$ alternatives --config java

  Selection    Command
-----------------------------------------------
   1           /usr/java/jdk1.6.0_25/bin/java
*  2           /usr/lib/jvm/jre-1.6.0-openjdk/bin/java
 + 3           /usr/lib/jvm/jre-1.5.0-gcj/bin/java

并选择默认情况下要运行的java。

这解决了java问题。

然后你的javac没有指向$ JAVA_HOME / bin / javac。尝试将示例编译为:

   $ $JAVA_HOME/bin/javac -source 5.0 \
-classpath /usr/lib/hadoop-1.0.1/hadoop-core-1.0.1.jar \
-d wordcount_classes/ WordCount.java

这应该有用。