我正致力于为流分析制作流式数据库。任何人都可以给我一步一步的代码来更新像mySQL或Hive这样的数据库中的Kafka消息来使用它进行分析吗?
我设置了Zookeeper和Kafka但是,无法将消息保存到任何持久数据库以将其用于报告。
答案 0 :(得分:1)
Spark与Kafka合作得很好。见documentation。 这是Kafka消费者的火花 这里有excellent tutorial让他们一起工作。
一旦你让Kafka + Spark一起工作,你就可以将消息存储到数据存储中。火花&卡桑德拉是一个受欢迎的组合。请参阅这些教程以供参考。
http://planetcassandra.org/getting-started-with-apache-spark-and-cassandra/
答案 1 :(得分:0)
这可能会帮助您入门。 LinkedIn's Kafka to HDFS pipeline