我需要在EMR集群上安装一些python包,而AFAIK,我可以在创建集群时在EMR的引导操作中写下一些pip install blabla...
命令,并在分配机器时运行这些命令集群。
好的,如果现在创建了集群,稍后我需要安装一些其他未在引导操作中编写的新软件包,该怎么办?我没有找到针对这种情况的任何方法,我是否必须使用新的引导操作重新创建新集群?
答案 0 :(得分:0)
创建集群后,遗憾的是,EMR不提供在所有节点上运行命令的API。
EMR确实有STEP API,您可以在主节点上运行脚本。
您可以使用该STEP API运行脚本,该脚本可以在所有节点上运行脚本或手动运行脚本来执行此操作。
有几个选项,如Ansible , pdsh or simply SSH
等。您可以使用YARN -list