Cloudera CDH中的hadoop-examples *和hadoop-test * jars在哪里?

时间:2013-05-01 04:46:55

标签: hadoop mapreduce cloudera

我正在寻找能够运行与示例和测试jar相关联的hadoop作业的jar文件。在过去,他们在/ usr / lib / hadoop下,但显然不再。指针赞赏。

注意:这个问题最初是针对CDH4.2的。但是一些答案包括更新版本的信息

6 个答案:

答案 0 :(得分:4)

在CentOS 6.5版(最终版)上的单节点Hadoop 2.3.0-cdh5.0.2设置中,我在/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5找到了mapred示例.0.3.jar(来自/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar的符号链接)。通过http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_tips_guidelines.html

答案 1 :(得分:4)

find / -name hadoop-mapreduce-examples*.jar

/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.7.0.jar

/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar

答案 2 :(得分:2)

我在/ usr / local / lib下找到它们如下(用你正在使用的特定cloudera版本替换4.2.1):

mrv1:/usr/local/lib/hadoop_mr1/hadoop-examples-2.0.0-mr1-cdh4.0.1.jar mrv2:/usr/local/lib/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.2.1.jar

所以我们可以运行它:hadoop jar /usr/local/lib/hadoop_mr1/hadoop-examples-2.0.0-mr1-cdh4.0.1.jar pi 500 40

答案 3 :(得分:1)

正如其他人所说,根据操作系统和安装程序,可以配置安装位置。对于RHEL上的CDH4,使用cloudera管理器作为安装程序,可以在以下位置找到示例和测试罐。

/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar

'/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/hadoop/hadoop-common-2.0.0-cdh4.2.0-tests.jar'

答案 4 :(得分:0)

所以他们根据新API中的hadoop目录更改移动了一些东西。

${CDH4_DIR}/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar
${CDH4_DIR}/share/hadoop/common/hadoop-common-*-tests.jar

但是大多数jar文件现在所在的目录都在

${CDH4_DIR}/share/hadoop/

答案 5 :(得分:0)

我在我的环境中发出find命令。 Red Hat Linux. Hadoop 2.5.0

  

查找/ -name 示例 .jar   /app/hadoop-2.5.0/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.0-sources.jar   /app/hadoop-2.5.0/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.0-test-sources.jar

<强> /app/hadoop-2.5.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar

/usr/java/jdk1.6.0_24/demo/jpda/examples.jar