java - Hadoop 2.5.0作业不成功，流命令失败

Hadoop版：Hadoop 2.5.0-cdh5.3.1

mapper和reducer脚本是shell文件

打印日志的某些部分：

AttemptID：attempt_1437751786759_1557_m_007335_0 600秒后超时   2015-08-21 19：46：55,837 INFO [main] mapreduce.Job

（Job.java:monitorAndPrintJob（1372）） - 地图76％减少0％   2015-08-21 19：46：57,066 INFO [main] mapreduce.Job

（Job.java:monitorAndPrintJob（1372）） - 地图100％减少100％   2015-08-21 19：47：03,159 INFO [main] mapreduce.Job

（Job.java:monitorAndPrintJob（1372）） - 地图97％减少100％   2015-08-21 19：47：04,372 INFO [main] mapreduce.Job

（Job.java:monitorAndPrintJob（1372）） - 地图100％减少100％   2015-08-21 19：47：04,794 INFO [main] mapreduce.Job

（Job.java:monitorAndPrintJob（1385）） - 作业job_1437751786759_1557因状态失败而失败，原因是：任务失败task_1437751786759_1557_m_001557   任务失败，作业失败。 failedMaps：1次失败减少：0

2015-08-21 19：47：04,922 INFO [main] mapreduce.Job

（Job.java:monitorAndPrintJob（1390）） - 专柜：34

文件系统计数器

FILE：读取的字节数= 0

FILE：写入的字节数= 1415074916

FILE：读取操作数= 0

FILE：大读操作次数= 0

FILE：写操作次数= 0

HDFS：读取的字节数= 501146186

HDFS：写入的字节数= 0

HDFS：读取操作数= 22986

HDFS：大型读取操作数= 0

HDFS：写操作次数= 0     职位计数器

地图任务失败= 1137

已杀死的地图任务= 1483

推出地图任务= 10282

其他本地地图任务= 10438

占用时隙中所有地图所花费的总时间（毫秒）= 10996762530

所有花费的总时间减少占用的时隙（ms）= 0

所有地图任务花费的总时间（毫秒）= 5498381265

所有地图任务占用的总核心秒数= 5498381265

所有地图任务占用的总兆字节数= 5630342415360

Map-Reduce Framework

映射输入记录= 7662

地图输出记录= 189860

映射输出字节= 8829322

映射输出物化字节= 101153057

输入拆分字节= 988398

合并输入记录= 0

溢出记录= 189860

失败的随机播放= 0

合并地图输出= 0

GC时间已过（ms）= 450437

花费的CPU时间（毫秒）= 129978840

物理内存（字节）snapshot = 3951235211264

虚拟内存（字节）snapshot = 13755897688064

提交的总堆使用量（字节）= 3860902445056

文件输入格式计数器

字节读取= 500157788

2015-08-21 19：47：04,922 ERROR [main] streaming.StreamJob

（StreamJob.java:submitAndMonitorJob（1019）） - 工作不成功！

流媒体命令失败！

除了在跟踪网址中，获取了这些日志：

++ date +％Y％m％d％H％M％S   + /home/disk1/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hadoop/bin/hadoop> dfs -D speed.limit.kb = 9000 -put ./sites_url HDFS：// nameservice1 /用户/ RP-＆GT;产品/ DMA / newsites / URL / CCDB / 20150821185246..sites_url

DEPRECATED：不建议使用此脚本执行hdfs命令。   而是使用hdfs命令。

put：No lease on /user/rp-product/dma/newsites/url/ccdb/20150821185246..sites_url。 COPYING （inode 913353）：文件不存在。持有人DFSClient_NONMAPREDUCE_39002115_1没有任何打开的文件。

++ cat sele_url

++ wc -l </ p>
+ cn = 32

+（（32> 0））

+ cat sele_url

log4j：WARN找不到记录器
的附加程序
（org.apache.hadoop.metrics2.impl.MetricsSystemImpl）。

log4j：WARN请正确初始化log4j系统。

log4j：WARN有关详细信息，请参阅http://logging.apache.org/log4j/1.2/faq.html#noconfig。

我还找到了hadoop Here

的java源代码

我在谷歌搜索解决方案但失败了，并没有从日志中获得一些有用的信息来猜测一些可能的原因，所以我需要帮助或任何提示

非常感谢

致以最诚挚的问候！

Hadoop 2.5.0作业不成功，流命令失败

1 个答案: