Kafka火花流整合

Question

我已经在我的系统中使用maven设置了Kafka和spark流。我想知道任何可以帮助我做更广泛操作的建议，除了在制作人中输入内容并在消费者中看到它。

如何创建一个将json或avro等数据连续放入Kafka生成器的源代码，因此我可以使用spark处理它并执行一些操作。需要建议我该如何设计

Answer 1

请找到以下链接。

https://github.com/hortonworks-gallery/tutorials/blob/master/2015-09-26-transporting-real-time-event-stream-with-apache-kafka.md

这是一个HDP教程..如果您没有使用HDP堆栈..请忽略教程的初始部分..

通过您可以生成的jar文件获得Kafka生产者

在本教程中，使用Java API使用纽约市卡车路线（kml）文件生成Truck事件。

您需要下载数据文件和Java代码以及jar文件..

详细信息在教程中

希望这有帮助