Kafka-Confluent Hub-仅利用其中的一部分

时间:2019-09-06 08:12:45

标签: apache-kafka apache-kafka-connect confluent-platform

我已经在SO中看到了类似的问题,但不清楚地回答我的疑问。

我们有不同的Kafka集群,并且周围有许多剥削操作习惯。我们有启动/停止集群的方式,还有许多有助于维护集群的漏洞利用脚本等。

现在,我们想使用Kafka connect连接器以满足新的需求,但是据我所知,Kafka connect与汇合集线器极为耦合。 就像我什至在没有安装完整的可操作集线器枢纽的情况下甚至无法使用连接器。

这使我们很难使用Kafka连接器,我知道confluent-hub可能是一个有助于运行这些连接器的框架,但这就像我们甚至不能使用分离的Kafka集群(一个未被利用的集群)通过confluent-hub ..)。

但是也许我想念一些东西。

您知道在已存在的Kafka集群(完全独立于confluent-hub)上是否有任何方法可以正确使用Kafka连接器?

已编辑:

这是一个关于融合集线器和Kafka-connect之间的高耦合行为的问题。如果没有confluent-hub,则无法使用Kafka connect附带的所有功能(分布式工作人员来处理不同的故障转移场景等),因此“需要”让Kafka群集专门通过confluent-hub运行,而不是如果您已经有一个拥有大量OPS习惯的大型Kafka集群,那么这很容易。

1 个答案:

答案 0 :(得分:1)

Kafka Connect是Apache Kafka的一部分。这是用于在Kafka内外的系统之间进行流式集成的可插入框架。

要使用Kafka Connect,您需要连接器以用于要与之集成的特定技术。例如,S3 sinkElasticsearch sinkJDBC source or sink,依此类推。

连接器API是Apache Kafka的一部分,available供任何想要开发连接器的人使用。

连接器由不同的人和组织编写,并且可以通过各种不同的方式使用。如何获得连接器取决于所需的连接器,如何获得许可以及作者如何使它可供分发。可能是您转到github,克隆存储库并构建JAR。可能是您可以直接下载JAR。

Confluent Hub所做的全部工作就是在一处使您可以轻松使用许多这些连接器,并使用可选的CLI工具为您安装它们。

您必须使用Confluent Hub吗?不,一点也不。可能会使您更轻松地找到想要使用的连接器,并使其更容易安装吗?希望:)

免责声明:我为Confluent工作。