我们正在部署 3节点Elasticsearch集群。自投入生产以来,我们在一个索引中有 200M文档,其中存储应用程序日志。当然这些只是日志,但我们想要摆脱一些不再使用的字段。
但是我在网上冲浪很多,而且找不到相关的东西。那么解决这个问题的方法有哪些呢? 重新编制索引是建议的一种方式。 但是如何在重建索引时添加当前索引中添加的日志呢?此外,我们的群集非常依赖资源。因此,重新索引大量文档将花费时间并对已经加载的服务器施加压力。
我尝试使用logstash重新索引从一个索引读取,过滤并放入我们的测试群集上的另一个索引,该索引只包含一个ES服务器和一个运行Kibana和Logstash的服务器。我们只有 150万份文件。花了差不多<40分钟。在200M文件上运行它将是完全不同的蠕虫。 请建议在这种情况下可以做些什么。