在亚马逊emr上奔跑的猪是超级慢

时间:2011-11-18 22:21:00

标签: mapreduce apache-pig emr

我使用AWSSDKforPHP来启动一个emr实例来运行猪脚本,然后让它变得难以忍受。如果我在猪本地模式下在ec2实例上运行相同的猪作业,它只需要10分钟,如果我启动emr以在mapreduce模式下运行猪作业,则需要几个小时。这很奇怪。我曾经在mapreduce模式下在内部hadoop集群上运行类似的pig作业,它非常快。是否有我需要指定的配置设置?我已经为emr设置了1个主节点和4个从节点,仍然不够?

感谢。

0 个答案:

没有答案