我使用kafka connect从kafka主题中消费,将数据加载到splunk中。我不希望将偏移量存储在同一引导服务器上。我知道我们可以设置offset.storage.topic属性。但是有没有诸如offset.storage.Server属性之类的东西?
下面是我的connect-distributed.properties配置中的一些属性。
bootstrap.servers=[server]
group.id=connect-cluster
plugin.path=/opt/kafka_2.12-2.2.0/plugins
offset.storage.topic=connect-offsets
offset.storage.replication.factor=3
答案 0 :(得分:1)
不,我不认为这是可能的。
如果您确实不想将偏移量写回集群,则一个选项是在独立模式下运行Kafka Connect,并使其使用本地文件代替偏移量。如果这样做,尽管您只能运行该worker的单个实例,但不会获得分布式模式提供的任何可伸缩性和容错优势。