当前设置:
有一个主数据源,其中包含特定学校学生每天的出勤记录。想象一下,数据的结构是CSV格式,如下所示:
名称|天| in_attendance
千斤顶| 2018年1月1日| 0
依此类推,等等。现在,我们从特定时间段获取出勤信息的方式是指定年份和时间。月份通过参数我们将交给AWS Datapipeline Step,如下所示:
myAttendanceLookupStep: PYTHON=python34,s3://school_attendance_lookup.py,01,2018
该步骤运行定义的Python文件,01
和2018
指定我们正在查找的月份和年份。但是,我想改变它,看起来更像是这样:
myAttendanceLookupStep: PYTHON=python34,s3://school_attendance_lookup.py,%myYear,%myMonth
myYear: 2018
myMonth: 01
有没有办法在AWS Data Pipeline中实现这种行为?
答案 0 :(得分:0)
事实证明,我在示例中使用的语法与正确的语法相差甚远。您可以在管道的任何部分(活动等)中使用提供的参数 - 您可以#{myParameterName}
代替参数的位置。
这似乎没有记录在AWS Data Pipeline文档中。