在长时间运行的EMR集群上设置AWS Data Pipeline

Question

如果我想要长时间运行的EMR集群，之后我想设置Data Pipeline在该集群上做某事，我该怎么办？

我必须在此EMR群集上安装Task Runner吗？或者也许会预安装Task Runner？或者也许有其他简单的方法？

Answer 1

任务运行器未预先安装在EMR中。必须手动配置它，按照这些steps在EMR集群中安装Task Runner。

在启动Task Runner流程时，请为--workerGroup提供名称。此名称将是此EMR群集的标识符，可用于Datapipeline活动中的WorkerGroup字段。