Kafka Connect AWS Lambda水槽

时间:2018-09-19 06:18:27

标签: apache-kafka aws-lambda apache-kafka-connect

此连接器插件如何工作? Kafka Connect AWS Lambda Sink

docker-compose.yml文件中,它从 confluentinc 存储库中提取了zookeeper,kafka和kafka-connect的docker镜像。

我们能否仅将此插件用于将作为kafka使用者的aws lambda与分别部署在ec2实例上的kafka集群连接。

我们可以在不使用kafka connect的情况下使用此连接器插件吗?

2 个答案:

答案 0 :(得分:1)

  

我们可以在不使用kafka connect的情况下使用此连接器插件吗?

不。 Kafka Connect连接器在Kafka Connect上运行。

但是,Kafka Connect是Apache Kafka的一部分,它为您提供了一个运行时环境,该环境可以处理诸如节点故障,横向扩展,集中式配置和管理之类的事情,因此,使用它实际上是一件好事。从用户的角度来看,使用它只是您需要编写的“只是”配置文件。

您可以阅读有关Kafka Connect here

的更多信息

免责声明:我为Confluent工作。

答案 1 :(得分:1)

您可以将插件与单独部署的Kafka集群一起使用。可以将连接器jar部署到您的Kafka Connect集群,或者在Docker中运行Kafka Connect容器,然后在其中部署lambda连接器。您只需要修改Kafka Connect的docker-compose.yml配置即可指向您的Kafka集群。 github.com/llofberg/kafka-connect-rest储存库中可能有一个更好的示例。

免责声明:我编写了连接器。