Question

我在本地机器上设置了apache kafka并且工作正常，当我向生产者发布消息时，它立即在消费者提示中流动。

是否可以从我的本地文件夹配置连续文件流？我怎么能这样做？

我可以编写一个java应用程序来配置我的生产者吗？

Answer 1

我只知道可以采用的两种方式。

1）写一个Kafka Producer和Kafka Consumer。这些Producer和Consumer也可以用不同的语言实现，如Java，C和Python。

•消息生产者/消费者的Kafka API •简单的基于Java的Kafka生产者/消费者

2）用Java或您喜欢的任何语言编写数据生成器代码并将数据文件存储在您的文件夹中并编写一个shell脚本，其中包含Kafka In build / API命令，该命令将数据加载到Kafka Broker，您可以在你需要的时候消费它。

以下是Shell脚本的示例。

#####################################################################
#############################  COMPLETE SCRIPT  #####################
### HEADER - PROGRAM NAME - <Kafkaload.sh>

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 4 --topic topicname

for i in $(seq 60)
do
echo $i
DATE=$(date +"%Y-%m-%d %H-%M-%S")
echo $DATE
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topicname < /home/bhavesh/Fireclickdata$i.txt
done

echo done

此示例将我的数据生成器代码生成的所有文件加载到Kafka

希望这有帮助!!! ...

Kafka Streaming with apache spark

1 个答案: