如何从kafka中的文件中读取日志?

时间:2017-10-01 03:17:06

标签: apache apache-kafka spark-streaming kafka-producer-api

我想在kafka中读取Apache日志,然后进一步处理到Spark Streaming.I是kafka的新手。据我所知,我必须编写一个生产者类来读取日志文件。

1 个答案:

答案 0 :(得分:2)

您可以通过创建一个连接器来实​​现此目的,该连接器将日志文件的每一行都输入到Kafka主题中。看看这里的例子:

https://docs.confluent.io/current/connect/devguide.html#connect-developing-simple-connector