EMR& Spark创建集群后添加依赖项

时间:2016-06-13 22:58:39

标签: amazon-web-services apache-spark elastic-map-reduce

是否可以在群集启动并运行后安装其他库/依赖项?

我所做的与此相关的事情:

  • 我已经完成了预创建引导过程(这是一个完全不同的解决方案)
  • 或者,在群集出现后,SSH进入每个节点并安装依赖项

我认为启动后安装解决方案涉及能够从驱动程序向所有执行程序发出命令。有没有办法实现这个目标?

1 个答案:

答案 0 :(得分:1)

如果您希望对步骤有其他依赖关系,可以在步骤的命令中添加它们(例如,对Spark使用--jars选项)