是否可以通过Cloudformation在AWS datapipeline中创建数组管道对象?

时间:2017-03-24 09:57:25

标签: amazon-web-services amazon-cloudformation amazon-data-pipeline

通过创建EmrCluster的API / CLI创建数据管道时,我可以使用数组结构指定多个步骤:

{ "objects" : [
  { "id" : "myEmrCluster",
  "terminateAfter" : "1 hours",
  "schedule" : {"ref":"theSchedule"}
  "step" : ["some.jar,-param1,val1", "someOther.jar,-foo,bar"] },
  { "id" : "theSchedule", "period":"1 days" }
] }

我可以调用put-pipeline-definition引用上面的文件,为EMR群集创建许多步骤。

现在,如果我想使用CloudFormation创建管道,我可以使用PipelineObjects资源类型中的AWS::DataPipeline::Pipeline属性来配置管道。但是,管道对象只能是StringValueRefValue类型。如何创建数组管道对象字段?

这是一个相应的云形态模板:

"Resources" : {
    "MyEMRCluster" : {
        "Type" : "AWS::DataPipeline::Pipeline",
        "Properties" : {
            "Name" : "MyETLJobs",
            "Activate" : "true",
            "PipelineObjects" : [
                {

                    "Id" : "myEmrCluster",
                    "Fields" : [
                        { "Key" : "terminateAfter","StringValue":"1 hours" },
                        { "Key" : "schedule","RefValue" : "theSchedule" },
                        { "Key" : "step","StringValue" : "some.jar,-param1,val1" }
                    ]
                },
                {
                    "Id" : "theSchedule",
                    "Fields" : [
                        { "Key" : "period","StringValue":"1 days" }
                    ]
                }
             ]
         }
    }
}

使用上述模板,stepStringValue,相当于:

"step" : "some.jar,-param1,val1"

而不是所需配置的数组。

http://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-properties-datapipeline-pipeline-pipelineobjects-fields.html仅显示StringValueRefValue是有效密钥 - 是否可以通过CloudFormation创建一系列步骤?

提前致谢。

1 个答案:

答案 0 :(得分:0)

啊,我不确定我在哪里看到steps可以配置为数组 - 文档没有提及 - 相反,它指定有多个步骤,多个{{1应该使用条目。

step