替换数据管道

时间:2015-11-12 19:42:19

标签: python python-2.7 amazon-web-services amazon-s3

我们已经设置了一个数据管道来将DynamoDB表的内容复制到s3以及一个Python脚本,以便将CSV标头添加到该对象 - 只有它当前不是通用的以及AWS的随机对象名称给文件硬编码,这意味着它只能工作一次! e.g。

s3_client.download_file(bucket, env + '/' + timestamp + '/' + 
'85086bfb-d129-42be-8td6-3843b27718cb-004300', local_file)

我们如何设置它以便随机字符串名称是我们可以在每次运行脚本时填充的变量?

1 个答案:

答案 0 :(得分:0)

您可以使用参数在shell命令活动中设置文件名。以下是使用参数的示例管道定义。

https://github.com/awslabs/data-pipeline-samples/blob/master/samples/ShellCommandWithFTP/pipeline.json

请参阅管道中的pipelineLogUri字段,以获取如何定义参数的示例。请参阅此链接,了解如何在激活时设置参数。

https://github.com/awslabs/data-pipeline-samples/tree/master/samples/ShellCommandWithFTP

马克