如何从aws数据管道禁用安装pig步骤

时间:2013-11-12 07:07:15

标签: amazon-data-pipeline

我正在使用EMR Cluster作为资源创建数据管道。 服务器在bootstrap之后创建, 它正在自动执行一些步骤,即

enable debugging,
Install Hive
Install Pig
install Task runner

Everthing是好的。

但我想删除安装猪的步骤。 有没有办法做到这一点?

1 个答案:

答案 0 :(得分:-1)

此答案考虑了评论中有关错误的信息。

您似乎安装了一个非常旧的Hadoop版本。查看EmrCluster对象中定义的hadoopVersion字段,可能会显示“0.20”。我想说删除这个字段并用amiVersion(http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html)替换它。选择http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html中列出的更新版本。