Question

我在hortonworks沙箱virtual machine中演示hadoop。

我之前在patterns this或this之后设置了简单的弹性地图，以减少EC2上的流媒体作业。

然而，似乎我没有安装流媒体jar--事实上，我似乎缺少许多基本目录：

$HADOOP_HOME/mapred/contrib/

我的ls -lah实际上看起来像这样：

[root@sandbox ~]# ls -lah
total 60K
dr-xr-x---.  5 root root 4.0K Apr 10 18:52 .
dr-xr-xr-x. 24 root root 4.0K Apr 10 18:31 ..
-rw-------   1 root root  126 Oct 28 08:35 .bash_history
-rw-r--r--.  1 root root   18 May 20  2009 .bash_logout
-rw-r--r--.  1 root root  176 May 20  2009 .bash_profile
-rw-r--r--   1 root root  262 Oct 28 08:29 .bashrc
-rw-r--r--.  1 root root  100 Sep 22  2004 .cshrc
-rw-r--r--   1 root root    0 Oct 28 08:34 .hdfs_prepared
drwxr-xr-x   2 root root 4.0K Apr 10 18:22 .pip
drwxr-----   3 root root 4.0K Oct 20 16:21 .pki
-rw-------   1 root root 1.0K Oct 20 14:04 .rnd
drwx------   2 root root 4.0K Oct 20 09:21 .ssh
lrwxrwxrwx   1 root root   48 Oct 28 08:28 start_ambari.sh -> /usr/lib/hue/tools/start_scripts/start_ambari.sh
lrwxrwxrwx   1 root root   47 Oct 28 08:28 start_hbase.sh -> /usr/lib/hue/tools/start_scripts/start_hbase.sh
-rw-r--r--.  1 root root  129 Dec  3  2004 .tcshrc
-rw-------   1 root root 4.8K Oct 28 08:30 .viminfo
-rw-r--r--   1 root root  218 Oct 20 08:55 zero_machine.sh

虽然使用hadoop命令，但我看到mapred存在，但不包含contrib。

[root@sandbox ~]# hadoop fs -ls /
Found 6 items
drwxrwxrwt   - yarn   hadoop          0 2014-04-10 19:14 /app-logs
drwxr-xr-x   - hdfs   hdfs            0 2013-10-20 15:08 /apps
drwxr-xr-x   - mapred hdfs            0 2013-10-20 15:10 /mapred
drwxr-xr-x   - hdfs   hdfs            0 2013-10-20 15:10 /mr-history
drwxrwxrwx   - hdfs   hdfs            0 2013-10-28 08:34 /tmp
drwxr-xr-x   - hdfs   hdfs            0 2013-10-28 08:34 /user
[root@sandbox ~]# hadoop fs -ls /mapred/
Found 1 items
drwxr-xr-x   - mapred hdfs          0 2013-10-20 15:10 /mapred/system

是否有针对streaming .jar文件的特殊下载页面？当我访问this page底部的链接时，link to streaming is dead。

Answer 1

hadoop流媒体jar的默认位置是/usr/lib/hadoop/contrib/streaming/hadoop-streaming-*.jar。

如果在上述位置找不到罐子。你可以从以下Hortonworks存储库下载hadoop-streaming - * .jar：

http://repo.hortonworks.com/content/repositories/releases/org/apache/hadoop/hadoop-streaming/

Answer 2

该jar有一个方便的链接/usr/lib/hadoop-mapreduce/hadoop-streaming.jar。我在Hortonworks Sandbox 2.1中测试了它

#ls -AlF /usr/lib/hadoop-mapreduce/hadoop-streaming.jar
lrwxrwxrwx 1 root root 38 Apr 21 06:57 /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -> hadoop-streaming-2.4.0.2.1.1.0-385.jar

在Hortonworks沙箱中流式传输Hadoop jar文件，没有contrib目录

2 个答案: