如何使用sqoop将数据从hadoop加载到solr?

时间:2014-05-06 10:21:47

标签: hadoop jdbc solr hdfs sqoop

我想将通过MR作业创建的索引复制到solr中,这些MR作业现在驻留在HDFS中。是否可以使用sqoop?

如果是,使用什么是jdbc连接器或驱动程序?如果不是sqoop,还有其他办法吗?

1 个答案:

答案 0 :(得分:0)

您可能需要考虑使用水槽。 https://flume.apache.org/FlumeUserGuide.html#flume-1-5-2-user-guide

MorphlineSolrSink:此接收器非常适合将原始数据流式传输到HDFS(通过HdfsSink)和 同时 提取,转换并将相同数据加载到Solr的用例(通过MorphlineSolrSink)。

更多信息:https://flume.apache.org/FlumeUserGuide.html#morphlinesolrsink