如何使用mysql优化solr索引

Question

我正在使用Mysql将数据索引到SOLR。早些时候数据较少，因此索引很快就没有任何延迟。现在我的数据包含将近300万行，并且mysql查询总是超时，因为SOLR无法相应地索引数据。有没有办法使用mysql快速索引SOLR或者可以在SOLR中进行任何调整？请帮忙。

Answer 1

如果您未使用incremental / delta indexing，则应该开始这样做。这样，只有自上次索引运行以来已更改的行才会再次编入索引，从而可以减少MySQL的影响和行数。

此外，JDBCDataSource（我猜你正在使用）supports the batchSize parameter，它告诉JDBC驱动程序限制每个查询中的文档数量 - 而不是发出多个查询。

如果您在检索SQL内容时对SQL内容执行任何类型的过滤（例如进行增量导入），您还应该注意在数据上使用可用的索引。