如何从Solr获取整个数据

Question

我必须在Java中编写一些逻辑，它应该从Solr中检索所有索引数据。

截至目前，我正在这样做

Swift_Attachment::fromPath()

在我的文件中，我将获得整个HTML文件，我可以解析并提取我的JSON。

有没有更好的方法呢？而不是从网址获取资源并解析它？

谢谢

Answer 1

我刚刚编写了一个应用程序来执行此操作，请查看github：https://github.com/freedev/solr-import-export-json

如果你想读取solr集合中的所有数据，你面临的第一个问题就是分页，在这种情况下，我们讨论的是深度分页。

像您这样的直接http请求将返回相对较少的文档。您甚至可以在solr集合中拥有数百或数十亿个文档。 因此，您应该使用正确的API，即Solrj。

在我的项目中，我刚刚做到了。

我也建议这样阅读： https://lucidworks.com/blog/2013/12/12/coming-soon-to-solr-efficient-cursor-based-iteration-of-large-result-sets/