在ECS上为数据处理项目设置Docker容器的最佳做法

时间:2018-10-25 13:00:48

标签: python shell docker amazon-ecs

我目前正在创建数据处理管道的情况下对AWS Elastic Container Service进行了一些试验,我对如何最好地设置Docker容器/ ecs任务定义的细节有一些疑问。

该项目的总体目标是创建一个系统,该系统允许用户使用S3事件和Lambda将数据文件添加到S3存储桶中以触发ECS任务,然后将输出返回到另一个S3存储桶中。

到目前为止,我已经能够弄清楚S3触发器和Lambda的基础知识,但是对于如何正确设置docker容器和任务定义,以便它能够使用A来自动处理数据,我有些困惑。一组python脚本。我认为创建运行可复制必需文件并调用python代码的Shell脚本的Docker容器是有道理的,但是我对如何使用ECS任务中的绑定装入卷运行Docker容器感到困惑。这个过程没有道理。当前,当我在单个EC2上测试系统时,我正在使用以下命令运行docker容器:

docker run -b $ (pwd)/data:/home/ec2-user/docker_test/data docker_test

我仍然对AWS工具还比较陌生,所以请让我知道我是否可以澄清我的观点/问题,并在此先感谢您!

0 个答案:

没有答案