如何在Elastic Search上传输和索引Cassandra数据?

时间:2014-02-12 01:08:52

标签: nosql cassandra elasticsearch apache-storm

我正在启动一个nodejs应用程序,我想在Elastic Search上索引Cassandra数据,但是最好的方法是什么呢?我看了一下Storm来完成这个但似乎不是解决方案。首先,我想为Cassandra使用一个客户端,为Elastic Search使用一个客户端,并在我的应用程序上应用插入/更新/删除两次,每个客户端一个,但似乎不是要走的路,我是担心这种一致性。有一种更好的方法来传输要在Elastic Search上编制索引的Cassandra数据吗?风暴会帮助我实现这个目标吗?有人会建议任何技术将一个数据库数据传输到另一个我真的怀疑无处可去。

1 个答案:

答案 0 :(得分:4)

您是否希望将数据从Cassandra移动到ElasticSearch只进行一次?或者你想让它们保持同步?

在这两种情况下,我认为Storm非常适合。我过去用过将数据从我们的RDBMS转移到Apache Solr。要记住的一件事是Solr / Elastic搜索可以执行的写入限制。如果你增加了平行度,那么你就会把它们放在膝盖上。

另一种选择可能是Apache Hadoop,但它只适用于一次复制或者如果你想每天复制数据(昨天的相同数据+可能是新的)。