Amazon EMR管理我的火花集群

Question

我在Amazon EC2计算机上安装了一个Spark设置，其中有两台工作机器在运行。它从cassandra读取数据，进行一些处理并写入sql server。我听说过亚马逊EMR，并了解它。我想要一个托管系统，如果我的工作花费更多时间并在我的工作完成时关闭，我的工作机器会自动添加到我的群集中。

我可以通过Amazon EMR实现这一目标吗？

Answer 1

要求是：

1. 如果我的工作花费更多时间，我的工作人员机器会自动添加到我的群集中。

2. 我的工作完成后关机。

没有。如果您的工作是从步骤启动的话，那么肯定是可以的。在最后一步完成后，有一个选项可以自动终止集群。或者，这也可以使用SDK以编程方式完成。

没有。 1更难一点，但EMR有三类节点;主人，核心和任务。可以在创建群集后添加任务节点。这可能必须以编程方式或利用其他亚马逊服务（如Lambda）完成。