将一个大型sql文件（每天30 gb）导入到elasticseach中的一个索引

Question

我每天生成sql dump（40 GB），我想将此转储迁移到一个索引中，例如：昨天的转储已转移到index1，今天的转储应转移到同一索引（即index1），并且接下来几天的下一个转储也应附加相同的索引（index1）。

我的问题：在elasticsearch中，如何构建索引来存储每天生成的这些大型转储？

Answer 1

一般的问题在于您的使用模式，每个分片应具有一定的大小（取决于使用情况，每个分片大约为10至50GB）。一个索引就很难实现。

您想要的被称为rollover index，它在遇到特定条件后基本上会创建一个新索引-这可能对您来说是合适的。并且具有指向所有索引的别名，您可以轻松地在整个数据集中进行搜索。

最近的功能ILM也使过渡指数的管理变得更加简单，这就是我在这里要研究的内容。