Apache Kafka生产者从文件中读取一次

时间:2016-12-12 13:45:13

标签: apache-kafka kafka-producer-api

我是卡夫卡的新人。我创建了一个producer-topic-consumer。当我拿数据manuel时,生产商总是打开它并不是问题。

但是当我尝试下面的代码(从文件中读取)时

 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test  --new-producer < /home/beyhan/foo.txt

从文件中读取并返回

  

警告配置主题= null已提供但未知   配置。 (org.apache.kafka.clients.producer.ProducerConfig)

和制片人停止。我想永远打开生产者,当我添加一个新的txt文件应该总是读。如何写一个文件夹,当文件夹有从生产者读取新的txt文件。

1 个答案:

答案 0 :(得分:0)

关于所使用的命令,虽然--new-producer不是必需的,但对我来说效果很好

  

我要打开txt文件并始终添加此文件或始终读取新文件

在这种情况下,我建议您研究Fluentd或Filebeat,而不是编写一些生产者代码。

如果要使用Kafka Connect,可以尝试kafka-connect-spooldir