将solr与任何数据源集成的最佳方法

时间:2018-06-02 08:35:07

标签: solr apache-kafka apache-storm

我正在努力将旧的索引工具迁移到solr(版本7)。但我不太确定,如何将我的文件索引到solr。

我们系统中的数据位于oracle DB,mysql和cassendra。但是这些数据库中的更新不是那么频繁(24小时内2-3次),这些将成为我的solr索引文件的来源。

在其中一个系列中,我将拥有大约300k-400k的记录,而在另一个大约5k的记录中。

我可以提出两种方法。

  1. 使用apache Storm从差异数据源创建ETL管道。
  2. 使用Kafka连接源和接收器。
  3. 哪两个对我们这样的系统有好处?对于像我们这样的系统来说,这两种方法是否过分?

1 个答案:

答案 0 :(得分:0)

数据的大小足够小,可以随心所欲地做任何事情 - 使用现有工具或使用您经验丰富的语言编写小型索引器。在那个阶段没有必要过分思考。

除此之外 - 如果没有深入了解您的情况,通常无法提出建议,除非是非常具体的问题。