将kafka使用者消息保存到数据库

时间:2015-02-08 17:42:09

标签: mysql streaming apache-spark kafka-consumer-api

我正致力于为流分析制作流式数据库。任何人都可以给我一步一步的代码来更新像mySQL或Hive这样的数据库中的Kafka消息来使用它进行分析吗?

我设置了Zookeeper和Kafka但是,无法将消息保存到任何持久数据库以将其用于报告。

2 个答案:

答案 0 :(得分:1)

Spark与Kafka合作得很好。见documentation。 这是Kafka消费者的火花 这里有excellent tutorial让他们一起工作。

一旦你让Kafka + Spark一起工作,你就可以将消息存储到数据存储中。火花&卡桑德拉是一个受欢迎的组合。请参阅这些教程以供参考。

http://planetcassandra.org/getting-started-with-apache-spark-and-cassandra/

http://helenaedelson.com/?p=991

答案 1 :(得分:0)

这可能会帮助您入门。 LinkedIn's Kafka to HDFS pipeline