是否可以使用数据管道创建具有自动缩放功能的EMR群集

Question

我是AWS新手。我已通过AWS控制台使用自动扩展策略创建了EMR集群。我还创建了一个数据管道，可以使用该集群来执行这些活动。

我还可以通过数据管道动态创建EMR集群。但在执行此操作时，我无法将自动缩放规则分配给EMR群集。有没有办法通过数据管道为EMR集群配置自动扩展角色和其他所需配置

Answer 1

不可能让AWS Data Pipeline启动具有Auto Scaling的Amazon EMR群集。

也没有必要。

AWS Data Pipeline 启动Amazon EMR集群以执行某些工作，例如转换数据或在系统之间移动数据。完成此任务后，群集将终止。这称为 transient 集群。

对于长期运行的Amazon EMR集群来说，这是一个非常不同的用例，它可以全天接受临时作业，并可以利用Auto Scaling根据需求添加/删除容量

因此，实际上不需要将Auto Scaling添加到Data Pipeline启动的EMR集群。相反，预先指定容量，它将用于作业的持续时间。