将现有DynamoDB项目导出到Lambda函数

时间:2019-04-05 16:23:29

标签: aws-lambda amazon-dynamodb aws-glue aws-batch aws-data-pipeline

是否有任何AWS托管解决方案允许使用DynamoDB作为源并使用Lambda函数作为接收器来执行本质上的数据迁移?

我正在设置一个Lambda来处理DynamoDB流,并且我希望能够使用相同的Lambda来处理所有现有项,而不必在Spark或Hive作业中重写相同的逻辑适用于AWS Glue,数据管道或批处理。 (我对Lambda的输入与DynamoDB流记录有所不同-我可以在Lambda中进行处理-我只是想避免在其他地方重新实现我的业务逻辑。)

我知道我可以构建自己的设置来运行全表扫描,但是我也试图避免任何不加区分的繁重工作。

编辑:一种可能性是更新DynamoDB中的所有项目,以便触发DynamoDB Stream事件。但是,我的问题仍然存在-是否有可以为我做到这一点的AWS托管服务?

1 个答案:

答案 0 :(得分:0)

您可以创建一个新的运动数据流。将其添加为您现有的lambda函数的触发器。 Create a new simple lambda function扫描整个表并将记录放入此流中。而已。

您的业务逻辑保留在您的原始功能中。您正在通过运动学将现有数据从dynamodb发送到此功能。

参考:https://aws.amazon.com/blogs/compute/indexing-amazon-dynamodb-content-with-amazon-elasticsearch-service-using-aws-lambda/