在Amazon EMR中的Hadoop的所有节点上运行脚本

Question

如何在Amazon EMR上的所有节点（主节点和从节点）上运行脚本，script-runner.jar仅在Namenode上运行。

Answer 1

你有引导选项：

您可以使用引导操作来安装其他软件并更改群集上的应用程序配置。引导操作是Amazon EMR启动群集时在群集节点上运行的脚本。它们在Hadoop启动之前和节点开始处理数据之前运行。您可以创建自定义引导操作，或使用Amazon EMR提供的预定义引导操作。

来自文档：http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html

这就像放置脚本来复制到S3一样简单，然后如果您从命令行启动EMR，请添加如下参数：

--bootstrap-action 's3://my-bucket/boostrap.sh'

或者，如果您通过网络界面进行操作，只需在＆＃34;自定义操作＆＃34;中输入文件的位置即可。 in＆＃34; Bootstrap Actions＆＃34;。