是否可以在AWS Data Pipeline中使用另一个参数?

时间:2018-05-24 20:27:40

标签: amazon-web-services amazon-data-pipeline

当前设置:

有一个主数据源,其中包含特定学校学生每天的出勤记录。想象一下,数据的结构是CSV格式,如下所示:

名称|天| in_attendance

千斤顶| 2018年1月1日| 0

依此类推,等等。现在,我们从特定时间段获取出勤信息的方式是指定年份和时间。月份通过参数我们将交给AWS Datapipeline Step,如下所示:

myAttendanceLookupStep: PYTHON=python34,s3://school_attendance_lookup.py,01,2018

该步骤运行定义的Python文件,012018指定我们正在查找的月份和年份。但是,我想改变它,看起来更像是这样:

myAttendanceLookupStep: PYTHON=python34,s3://school_attendance_lookup.py,%myYear,%myMonth myYear: 2018 myMonth: 01

有没有办法在AWS Data Pipeline中实现这种行为?

1 个答案:

答案 0 :(得分:0)

事实证明,我在示例中使用的语法与正确的语法相差甚远。您可以在管道的任何部分(活动等)中使用提供的参数 - 您可以#{myParameterName}代替参数的位置。

这似乎没有记录在AWS Data Pipeline文档中。