此连接器插件如何工作?
Kafka Connect AWS Lambda Sink
在docker-compose.yml文件中,它从 confluentinc 存储库中提取了zookeeper,kafka和kafka-connect的docker镜像。
我们能否仅将此插件用于将作为kafka使用者的aws lambda与分别部署在ec2实例上的kafka集群连接。
我们可以在不使用kafka connect的情况下使用此连接器插件吗?
答案 0 :(得分:1)
我们可以在不使用kafka connect的情况下使用此连接器插件吗?
不。 Kafka Connect连接器在Kafka Connect上运行。
但是,Kafka Connect是Apache Kafka的一部分,它为您提供了一个运行时环境,该环境可以处理诸如节点故障,横向扩展,集中式配置和管理之类的事情,因此,使用它实际上是一件好事。从用户的角度来看,使用它只是您需要编写的“只是”配置文件。
您可以阅读有关Kafka Connect here
的更多信息免责声明:我为Confluent工作。
答案 1 :(得分:1)
您可以将插件与单独部署的Kafka集群一起使用。可以将连接器jar部署到您的Kafka Connect集群,或者在Docker中运行Kafka Connect容器,然后在其中部署lambda连接器。您只需要修改Kafka Connect的docker-compose.yml配置即可指向您的Kafka集群。 github.com/llofberg/kafka-connect-rest储存库中可能有一个更好的示例。
免责声明:我编写了连接器。