使用Lambda函数将数据从AWS DMS流到AWS MSK

时间:2019-12-20 20:24:50

标签: amazon-web-services apache-kafka aws-lambda aws-msk

因此,我是Kafka和MSK的新手,但尝试减少在AWS云上探索事物服务器。 我的用例 AWS DMS-> KAFKA(MSK)-> ElastciSearch / DynamoDB和S3。 我正在寻找使用lambda函数。 但是最近我才知道端到端不能或很难适应lambda函数。

那么有什么方法可以使用带有lambda函数的Kafka connect来实现,因此不需要EC2吗?

基本上,我正在寻找无服务器方式的Kafka连接。

排除运动运动,而不是在此范围内。

请推荐一些有关Kafka的信息

1 个答案:

答案 0 :(得分:0)

Kafka Connect必须在EC2或EKS / ECS中运行,因为它是一项长期运行的服务,而不是像Lambda这样可以启动和停止的服务

我不确定DMS会完全提供什么,但是我想您可以使用Debezium通过Kafka将一个数据库复制到另一个数据库中来做同样的事情