Kafka与Cassandra数据库连接

Question

我正在使用Kafka用于多种用途，但我想使用Kafka的连接API，但我无法理解为什么使用Kafka connect而不是编写我们自己的使用者组并在任何地方编写消息的差异数据库没有编写复杂的东西，也没有像Kafka-connect那样添加其他软件包。

Answer 1

作为框架进行连接处理故障转移，您也可以在分布式模式下运行它以扩展数据导入/导出工作＆＃34;。因此，Connect真的是一个“火与忘记”。经验。此外，对于Connect，您不需要编写任何代码 - 您只需配置连接器。

如果你手动构建它，你基本上解决了Connect已经解决的问题（即重新发明轮子）。不要低估这项任务的复杂性 - 它在表面上听起来很直接，但它似乎更复杂。

Answer 2

Kafka Connect为希望将数据移入和移出Apache Kafka的用户和开发人员提供了有用的抽象。

用户可以从不断增长的collection of existing Connectors中选择一个连接器，只需提交适当的配置，即可快速有效地将其数据与Kafka集成。开发人员可以为其特殊用例实现连接器，而不必担心生产者和消费者群集的低级别管理以及如何进行这样的群集扩展（如已提到的Matthias）。

正如软件经常发生的那样，如果某个特定的软件抽象并不适合您的需求，您可能需要降低一个或多个抽象级别并使用较低级别的结构编写代码。在我们的例子中，这些是Kafka生产者和消费者，它们仍然是一个非常强大且易于使用的抽象，用于将数据移入和移出Kafka。

现在，为了达到您所指的具体点，即Kafka Connect中通常称为处理错误或不兼容数据的问题，目前这主要是Connector开发人员的责任。但是，我们打算为框架提供方法来促进这种错误数据的处理，并使其更多地是配置而不是连接器实现。这是不久的将来的路线图。