Lucene指数的空间限制是什么？

Question

我在Lucene索引中添加了数十亿行，每行几乎是6000字节。是否可以添加到Lucene Index的最大行数限制？ Lucene Index占用6000亿字节的十亿行空间。这个尺寸有限制吗？

Answer 1

请参阅Lucene文档了解其limitations，它不能超过

• ~274亿个不同的术语，
• ~21亿个文件。

对于如此大的数据集，通常只使用Lucene作为其反向索引，并将文档的实际内容存储在其他地方。您可以预期索引大小约为原始文档集大小的30％（前提是这些是常规文档，具有大量唯一术语的计算生成文档会生成更大的索引）。