Spark 1.5作为客户端到KAFKA 0.9或0.10

时间:2016-07-28 10:03:10

标签: apache-spark kafka-consumer-api

我可以使用Kafka消费者API编写Spark 1.5客户端来获取来自KAFKA 0.9或0.10的消息并进行处理吗? 如果我不能那么将Spark用作处理引擎以获取消息并应用聚合和统计建模以产生最终输出的最佳方式。

1 个答案:

答案 0 :(得分:1)

请在官方火花文件中找到你的回答..

这是spark 1.5.2中spark和kafka之间的整合示例

http://spark.apache.org/docs/1.5.2/streaming-kafka-integration.html