Question

我跟着this link使用Kafka Connect配置Cassandra Sink。

在博客文章中，我们首先启动Kafka Connect。接下来，我们将CassandraSink配置发布到Kafka Connect。

java -jar kafka-connect-cli-0.5-all.jar create cassandra-sink-orders < cassandra-sink-distributed-orders.properties

连接器cassandra-sink-orders：

name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=orders-topic
connect.cassandra.export.route.query=INSERT INTO orders SELECT * FROM orders-topic
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=demo
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra

现在我想要使用相同的Kafka Connect附加不同的配置。当我这样做时，之前的WorkerSink被分离了。有没有办法让它们都可以与单个Kafka Connect并行工作。或者我是否需要在其他端口启动另一个Kafka Connect并使用它附加新配置？

最佳做法是什么？

Answer 1

您可以运行：

Kafka Connect在分布式模式下并让它运行多个连接器。这对于单节点部署是有效的，并且具有易于扩展的优点 - 您只需添加更多节点，Kafka Connect就可以处理工作负载的分配。使用REST API控制Kafka Connect配置，as shown here和documented here。
Kafka Connect在独立模式下，并传递series of connector configs as commandline arguments。

我可以使用单个Kafka Connect连接多个接收器配置吗？

1 个答案: