如何在Windows上将Spark Streaming连接到独立的Solr?

时间:2017-01-02 13:47:36

标签: apache-spark solr spark-streaming

我想将Spark Streaming与Standalone Solr集成。我在Windows上使用Spark 1.6.1和Solr 5.2独立,没有Zookeeper配置。我能够通过传递Zookeeper配置找到一些解决方案,他们通过spark连接到Solr。 如何将我的spark程序连接到独立的Solr?

1 个答案:

答案 0 :(得分:0)

请查看此示例是否有用http://spark.apache.org/docs/latest/streaming-programming-guide.html#design-patterns-for-using-foreachrdd

从示例中,您需要编写自己的Connection类,它包装HttpSolrClientConcurrentUpdateSolrClient的对象。您还需要编写自己的ConnectionPool类,它将实现您自己的Connection对象的池(或者如果它的线程安全,只返回相同的singleton对象)。