使用Apache Kafka获取网站的日志并使用Spark Streaming处理它

Question

我是Apache Kafka的新手。我能够运行控制台生产者和消费者，但现在我想使用Apache Kafka和Spark Streaming处理我朋友网站的日志。首先，我使用以下方式启动了zookeeper服务： bin / zookeeper-server-start.sh config / zookeeper.properties

之后，我使用以下方式启动了经纪人： bin / kafka-server-start.sh config / server.properties

然后创建了一个主题。但之后我感到困惑的是，在我的笔记本电脑上运行生产者（bin / kafka-console-producer.sh --broker-list localhost：9092 --topic test）命令的位置在客户端？ 请帮忙。

Answer 1

我怀疑，使用kafka-consule-consumer.sh是一个不错的选择......它仅用于开发期间的测试...

但是，如果您有单个日志文件，则可以将日志文件传输到生成器中，如下所示：

tail -n +1 -f webServer.log | bin/kafka-consule-consumer.sh --broker-list <broker>:9092 --topic test

当然，您必须在Web服务器计算机上运行此命令。