将数据从文本文件连续推送到Kafka

Question

我创建了一个简单的生成器，它从textfile中读取数据并将其发送到kafka

try(BufferedReader br = new BufferedReader(new      FileReader(getInputFileName()))) {
        String line = br.readLine();
        while (line != null) {
            KeyedMessage<String, String> data = new KeyedMessage<String, String>(getTopic(), null, line);
            producer.send(data);
            System.out.println(line);
            //Thread.sleep(200l);
            line = br.readLine();

并且它工作正常但它只缓冲当时的数据并发送它，所以如果有人更改了Textfile并添加新行，这些新数据将不会被发送到kafka

我需要知道我是否可以做一些能够连续捕获插入到文本文件中的新行并将其自动发送到kafka的内容。

任何帮助？

Answer 1

从版本0.9开始，Kafka Connect是Apache Kafka的一部分。

默认情况下，它支持FileStreamSource作为源连接器之一。

有关详细示例，请查看此link