无法执行大于10Kb的数据

Question

我在服务器上安装了Hadoop 1.3。还安装了Ambari，可以详细查看系统。 我已经安装了Hue，一切运行良好，但我有一个猪脚本只能处理非常小的数据（2Kb），当我尝试将数据大小增加到＆gt; 10Kb（我重复了数据以查看这是否是问题）它错误地说：

Message: Job failed! Error - # of failed Map Tasks exceeded allowed limit

如果有人可以提供帮助那就太棒了。我感觉它是mapred中的一个配置，我必须改变，但我所尝试的似乎没有做任何事情，因此我的请求。

由于

Answer 1

您显示的错误消息看起来像是次要错误：查看日志以查看为什么地图任务失败。它几乎肯定没有与数据量相关联，因为10KB不算什么。启动的映射任务数取决于输入文件的数量（或者更确切地说，输入拆分的数量）：它看起来好像是在增加要处理的文件数，从而（无意中）包括导致失败的文件。

Answer 2

running Pig job“状态”旁边的链接应提供有关MapReduce错误的更多详细信息。