如何更新boostrap操作时如何在AWS EMR上重新运行引导操作?

时间:2017-04-05 14:42:23

标签: amazon-web-services amazon-emr

我需要在EMR集群上安装一些python包,而AFAIK,我可以在创建集群时在EMR的引导操作中写下一些pip install blabla...命令,并在分配机器时运行这些命令集群。

好的,如果现在创建了集群,稍后我需要安装一些其他未在引导操作中编写的新软件包,该怎么办?我没有找到针对这种情况的任何方法,我是否必须使用新的引导操作重新创建新集群?

1 个答案:

答案 0 :(得分:0)

创建集群后,遗憾的是,EMR不提供在所有节点上运行命令的API。

EMR确实有STEP API,您可以在主节点上运行脚本。

您可以使用该STEP API运行脚本,该脚本可以在所有节点上运行脚本或手动运行脚本来执行此操作。

有几个选项,如Ansible , pdsh or simply SSH等。您可以使用YARN -list

找到EMR节点及其主机名列表