在代码中配置和部署Lambda管道

Question

我想知道是否有任何AWS服务或项目允许我们在代码中使用AWS Lambdas配置数据管道。我正在寻找类似下面的东西。假设有一个名为pipeline

的库

from pipeline import connect, s3, lambda, deploy
p = connect(s3('input-bucket/prefix'),
            lambda(myPythonFunc, dependencies=[list_of_dependencies])
            s3('output-bucket/prefix'))
deploy(p)

当然，这个想法可以有很多变化。该用例仅假设一个s3桶用于例如可能有输入s3桶的列表。

这可以通过AWS Data Pipeline完成吗？我（快速）阅读的文档说Lambda用于触发管道。

Answer 1

我认为最接近的是新发布的Lambda Step Functions中的状态机功能。通过这些，您可以协调转换数据的多个步骤。我不相信它们支持标准事件源，因此您必须创建一个标准的lambda函数（可能使用Serverless Application Model）从S3读取并触发您的状态机。