Kafka独立连接器是否会自动同步,还是每次都需要重新启动

时间:2019-03-10 14:09:58

标签: apache-kafka apache-kafka-connect

我是Kafka的新手。我刚刚通过引用汇合的doc/guide中的步骤配置了一个Kafka独立连接器。

Kafka连接器的工作是同步文件-test.txt中的数据。 如果我更新了test.txt中的内容,则不会自动将其推送至主题-连接测试,而如果我重新启动连接器,则会检测到来自test.txt的更新消息并将其推送至主题-连接测试。

因此,我的疑问是我是否必须安排此连接器以检测更改,或者它会基于某个间隔在内部自动执行此工作。

1 个答案:

答案 0 :(得分:1)

简短答案:正在运行的连接器会自动同步

如果我对您的理解正确,那么您希望将文件text.txt的内容推送到kafka,从而允许您的kafka连接器从中读取新的dato。

启动一个新的生产者,它将文件内容推送到您的主题:

$ kafka-console-producer.sh --broker-list localhost:9092 --topic connect-test
--new-producer < text.txt

添加新消息:

$ echo "new message" >> text.txt

此消息将显示在主题中。

如果您的kafka连接器正在运行且配置正确,它将从该主题中检索消息。