在connect-distributed.properties中将offset.storage.topic设置为使用其他服务器

时间:2019-05-03 13:58:30

标签: apache-kafka apache-kafka-connect

我使用kafka connect从kafka主题中消费,将数据加载到splunk中。我不希望将偏移量存储在同一引导服务器上。我知道我们可以设置offset.storage.topic属性。但是有没有诸如offset.storage.Server属性之类的东西?

下面是我的connect-distributed.properties配置中的一些属性。

bootstrap.servers=[server]

group.id=connect-cluster

plugin.path=/opt/kafka_2.12-2.2.0/plugins

offset.storage.topic=connect-offsets

offset.storage.replication.factor=3

1 个答案:

答案 0 :(得分:1)

不,我不认为这是可能的。

如果您确实不想将偏移量写回集群,则一个选项是在独立模式下运行Kafka Connect,并使其使用本地文件代替偏移量。如果这样做,尽管您只能运行该worker的单个实例,但不会获得分布式模式提供的任何可伸缩性和容错优势。