Kafka Connect将数据写入不存在的主题

时间:2018-11-01 12:48:12

标签: apache-kafka kafka-producer-api apache-kafka-connect

如果Kafka Connect不存在(但作为目的地提供)或无法将消息复制到该主题,它会即时创建该主题吗?

我至少需要动态或以编程方式(Java API)创建此类主题,而不是使用脚本手动创建。

我搜索了此信息,但似乎必须在迁移之前创建主题

2 个答案:

答案 0 :(得分:0)

Kafka Connect并不能真正控制它。

Kafka中有一个设置可以启用/禁用自动主题创建。

如果启用此选项,Kafka Connect将创建自己的主题;否则,您必须自己创建主题。

答案 1 :(得分:0)

默认情况下,当使用者订阅不存在的主题时,Kafka不会创建新主题。您应该在 Kafka服务器配置文件中启用it('Click Get PDF button', function() { var link = driver.findElement(By.id('ia-pdf-button')); link.click(); return driver.getAllWindowHandles().then(function gotWindowHandles(allhandles) { driver.switchTo().window(allhandles[allhandles.length - 1]); driver.getCurrentUrl().then(function(url) { // .include() asserts arg1 includes arg2, in this case that a substring is included in a string assert.include(url, '/items/100anosyladivina00garm/100anosyladivina00garm.pdf', 'URL includes PDF path'); }); driver.close(); driver.switchTo().window(allhandles[0]); }); }); ,该文件会在服务器上启用 自动创建 主题。

启用此功能后,Kafka将自动动态创建主题。当应用程序尝试连接到不存在的主题时,Kafka将自动创建该主题。