Kafka与Amazon MSK连接

Question

如何将Kafka Connect适配器与Amazon MSK一起使用？ 根据AWS文档，它支持Kafka connect，但未记录有关如何设置和使用适配器的信息。

Answer 1

AFAIK Amazon MSK不提供托管连接器，因此您必须自己运行它们。通过运行Kafka Connect工作进程（JVM），然后向其提供一个或多个连接器配置来运行，即可完成此操作。

从Kafka Connect工作者的角度来看，它只需要一个Kafka集群即可连接；不管是MSK还是本地，都无关紧要，因为它最终只是“消费者” /生产者。

您可以在此处查看更多信息，包括现场演示：https://rmoff.dev/bbuzz19-kafka-connect

有关配置Kafka Connect以使用云托管的Kafka平台（在本例中为Confluent Cloud）的示例，请参见this article。

Answer 2

这有两个方面

1. Kafka Connect 是一个框架，应该与 kafka 代理分开部署。 MSK 仅提供 kafka 代理。如果您想将 Kafka Connect 与 MSK 一起使用，您需要使用 EC2 实例并部署 kafka 二进制文件。Kafka Connect 框架与 kafka 捆绑在一起

2. 如果您没有合流订阅或类似订阅，请使用连接器 - 恐怕您的选择非常有限。但话虽如此，您始终可以编写自己的连接器。编写新的连接器并没有那么困难，您可以应用您的业务特定逻辑并很快上路。