具有大量数据的完整构建solr索引

Question

我有一个包含超过1000万个网页记录的文本文件 我想每天用这个文件构建solr索引（因为这个文件每天更新​​） 是否有任何有效的解决方案可以立即完全构建solr指数？如使用地图缩减模型来加速建筑过程 我认为使用solr api添加文档有点慢。

Answer 1

目前尚不清楚这1000万条记录中有多少内容，但它实际上可能足够简单，可以批量索引。只需检查solrconfig.xml中的提交设置，例如，您可以使用low maxDocs settings配置autoCommit。在您的情况下，您可能想要完全禁用autoCommit，最后只需手动执行。

但是，如果它仍然有点慢，那么在进行map-reduce之前，你可以考虑建立一个单独的索引然后swapping it with the current index。

这样，您实际上可以将之前的集合回滚到和/或进行比较（如果需要）。新的集合甚至可以构建在不同的机器上和/或更接近数据。