从卡夫卡到卡桑德拉写日期的最佳方式是什么?我希望它是一个解决的问题,但似乎并不是一个标准的适配器。 很多人似乎都在使用Storm从Kafka读取然后写信给Cassandra,但风暴对于简单的ETL操作来说似乎有些过分。
答案 0 :(得分:5)
我们通过Storm
大量使用Kafka和Cassandra我们依赖Storm,因为:
在原始消息的结果出现之前,通常会有很多分布式处理(节点间)步骤Cassandra(Storm bolt拓扑)
我们不需要自己维护Kafka(偏移)的消费者状态 - 当原始消息的所有产品在Storm中被激活时,Storm-Kafka连接器正在为我们做这件事
消息处理分布在具有Storm本地
否则,如果这是一个非常简单的案例,你可以有效地阅读来自Kafka的消息,并在没有Storm的帮助下将结果写入Cassandra
答案 1 :(得分:1)
最近发布的Kafka附带了连接器概念,支持源和接收器作为设计中的一流概念。有了这个,您不需要任何流式框架来将数据移入/移出Kafka。以下是Kafka的Cassandra连接器,您可以使用:https://github.com/tuplejump/kafka-connect-cassandra