AWS Data Pipeline EmrCluster的安全配置字段

Question

我通过AWS管理控制台上的常规EMR群集向导创建了一个AWS EMR群集，并且我能够选择安全配置，例如，当您导出CLI命令--security-configuration 'mySecurityConfigurationValue'时。 / p>

我现在需要通过AWS Data Pipeline创建类似的EMR，但我没有看到任何可以指定此安全配置字段的选项。

我看到的唯一类似字段是EmrManagedSlaveSecurityGroup，EmrManagedMasterSecurityGroup，AdditionalSlaveSecurityGroups，AdditionalMasterSecurityGroups和SubnetId。我已经在管道配置中填写了所有这些，但我只需要指定安全配置。有什么想法吗？

Answer 1

不幸的是，DataPipeline不支持安全配置功能（以及EMR 5.x版本中引入的其他功能，如使用自定义AMI）。

对此的一个解决方案是：

1. 使用EC2资源替换管道中的EmrCluster
2. 使用EC2资源上的ShellCommandActivity运行aws emr create-cluster CLI命令
3. 使用引导步骤install TaskRunner on the cluster
4. 将管道中的所有runsOn属性替换为workerGroup，以便在您在步骤2中创建的EMR群集上运行任务
5. 在管道末尾添加最终ShellCommandActivity以使用CLI终止群集

现在，由于您使用CLI启动集群，因此您可以访问各种功能，如安全配置，自定义AMI，实例车队等，您仍然可以使用DataPipeline协调任务。