Question

我同时运行3个以上的猪脚本。但是，所有工作流程都会保留。我检查了日志文件。它总是弹出“心跳”。

我的工作流程只在一个名称节点上运行。我在网站上检查问题。看来我可以配置mapred.job.queue.name。但是，我不确定如何使用它。

你可以给我一些建议吗？

Answer 1

这是小群集的常见问题。

每次oozie运行工作流程时，它都会生成一个启动器作业，该作业负责启动工作流程中编写的不同操作。此作业在第一个操作运行之前创建，并在最后一个操作完成后结束。

这意味着如果您开始了6个oozie工作，那么您已经完成了6个地图位置而没有完成任何实际工作。

可能的解决方案是在单独的启动程序队列而不是默认队列上运行启动程序作业。您可以通过在oozie workflow.xml中的pig动作中设置此部分来完成此操作

 <configuration>
    <property>
      <name>oozie.launcher.mapred.job.queue.name</name>
      <value>launcherqueue</value>
    </property>
  </configuration>

Answer 2

可能你在jobtracker上用完了免费的mapper或reducer插槽。尝试增加＆＃39; mapred.map.tasks＆＃39;和＆＃39; mapred.reduce.tasks＆＃39;在mapred-site.xml中。

Answer 3

我有同样的问题。我试图提交你的猪脚本使用Oozie。我尝试使用bash脚本，它工作正常。例如：

pig -f /path/to/pig/scripts/script1.pig -param input=inputValue &
pig -f /path/to/pig/scripts/script2.pig -param input=inputValue &
.
.
.

由于

Answer 4

由于 Hadoop 中的总内存不足，导致出现Heart beat错误。这是因为您可以在小型集群机器中运行。

解决方案：因此，您希望增加所有nodemanager执行mapreduce作业的总内存大小。此链接"HEART BEAT ERROR SOLUTION"

中包含以下步骤

跑了5头猪和僵局

4 个答案: