Pig脚本在Sandbox上运行正常但在真实集群上失败

时间:2016-12-31 16:54:49

标签: hadoop memory apache-pig ambari

环境:

  1. Hortonworks Sandbox运行HDP 2.5
  2. 由Ambari管理的Hortonworks HDP 2.5 Hadoop集群
  3. 我们正面临一个棘手的局面。我们从Hadoop教程运行Pig脚本。脚本正在处理微小的数据。它在沙盒上工作正常。但是在真正的集群中失败了,它抱怨容器的内存不足。

    container is running beyond physical memory limit
    

    消息可以在日志中看到。

    棘手的部分是 - 沙盒的可用内存比真实群集少(约少3倍)。 Sandbox中的大多数内存设置(MapReduce内存,Yarn内存,Yarn容器大小)允许的内存比真实群集中的相应设置少得多。对于Sandbox中的Pig来说仍然足够,但在真正的集群中还不够。

    另一个注意事项 - 执行类似工作的Hive查询也很好(在两个环境中),他们不会抱怨内存。

    显然在某处(环境2中)有一些设置,这会让Pig请求太多内存?可以请任何人推荐应该修改哪些参数来阻止Pig脚本请求太大的内存?

0 个答案:

没有答案