使用新管道重新处理Elasticsearch的数据

时间:2018-11-21 21:48:15

标签: elasticsearch logstash

我有一个ELK堆栈服务器,该服务器用于分析Apache Web日志数据。我们正在加载所有日志,可以追溯到几年前。目的是查看这段时间内某些特定于应用程序的趋势。

数据处理管道仍在调整中,因为这是任何人第一次详细研究此数据,而有些人仍在尝试决定他们希望如何处理数据。

建议进行一些更改,尽管它们很容易在logstash管道中完成以处理新的传入数据,但我不确定如何将这些更改应用于已经具有弹性的数据。加载当前数据集花费了几天的时间,并且添加了很多数据,因此通过修改后的管道通过logstash重新处理所有内容可能会花费几天的时间。

将这些更改应用于已被吸收到Elastic中的数据的最佳方法是什么?在测试此设置的早期阶段,我只是删除索引并从头开始进行重建,但这是在非常有限的数据集以及此处使用的数据量的情况下完成的,我不确定这是否可行。有更好的方法吗?

1 个答案:

答案 0 :(得分:2)

设置接收管道,并使用reindex API将数据从当前索引移至新索引(管道配置为目标索引)

Ingest Node