Question

您好我刚开始使用Hadoop并运行我的第一个mapreduce作业。我已经使用python来构建地图并减少脚本，我测试了它并且工作正常，但是当我尝试在hadoop上运行它们时。它返回错误。

以下是我在终端中输入的命令

/home/maitreyee/hadoop$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar     -mapper /usr/bin/python mapper1.py -reducer /usr/bin/python reducer1.py -input /user/hduser/gutenberg/* -output /user/hduser/gutenberg-output1

出现以下错误

Warning: $HADOOP_HOME is deprecated.
packageJobJar: [/app/hadoop/tmp/hadoop-unjar3238940252334854546/] []      /tmp/streamjob4553487258055690616.jar tmpDir=null
14/12/05 11:53:29 INFO streaming.StreamJob: Running job: job_201412050953_0004
14/12/05 11:53:29 INFO streaming.StreamJob: To kill this job, run:
14/12/05 11:53:29 INFO streaming.StreamJob: /home/maitreyee/hadoop/libexec/../bin/hadoop job  -Dmapred.job.tracker=localhost:54311 -kill job_201412050953_0004
14/12/05 11:53:29 INFO streaming.StreamJob: Tracking URL: http://localhost:50030   /jobdetails.jsp?jobid=job_201412050953_0004
14/12/05 11:53:30 INFO streaming.StreamJob:  map 0%  reduce 0%
14/12/05 11:54:54 INFO streaming.StreamJob:  map 100%  reduce 100%
14/12/05 11:54:54 INFO streaming.StreamJob: To kill this job, run:
14/12/05 11:54:54 INFO streaming.StreamJob: /home/maitreyee/hadoop/libexec/../bin/hadoop    job  -Dmapred.job.tracker=localhost:54311 -kill job_201412050953_0004
14/12/05 11:54:54 INFO streaming.StreamJob: Tracking URL: http://localhost:50030  /jobdetails.jsp?jobid=job_201412050953_0004
14/12/05 11:54:54 ERROR streaming.StreamJob: Job not successful. Error: # of failed Map          Tasks exceeded allowed limit. FailedCount: 1. LastFailedTask:        task_201412050953_0004_m_000000
14/12/05 11:54:54 INFO streaming.StreamJob: killJob...
Streaming Command Failed!

请建议出现问题以及如何解决。

Answer 1

感觉这只是时间问题。在hadoop中运行作业之前，确保hadoop通过jps正常运行，保持系统更新并检查ssh连接。然后编写如下命令在hadoop中运行一个简单的python map reduce作业（我使用的是Ubuntu 12.04 LTS和Hadoop 1.2.1）。

 hduser@bharti-desktop:~/hadoop$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar -input /user/hduser/gutenberg/gutenberg/ -output /user/hduser/op4 -mapper /home/hduser/hadoop/mapper1.py -file /home/hduser/hadoop/mapper1.py -reducer /home/hduser/hadoop/reducer1.py -file /home/hduser/hadoop/reducer1.py

上面的终端命令的一个小解释：由于它是一个流媒体工作所以我们先把hadoop的流jar文件的位置，然后输入文件的位置，然后输出文件的位置（尝试给出一个唯一的名称，应该存在于hdfs中），然后我们告诉hadoop我们想要执行什么功能，以及执行它的位置（map和reduce任务），然后使用file属性来告诉脚本的位置。（在脚本语言的情况下。）

如果还有任何疑问，请告诉我。

python mapreduce作业返回错误

1 个答案: