我有一个ELK堆栈服务器,该服务器用于分析Apache Web日志数据。我们正在加载所有日志,可以追溯到几年前。目的是查看这段时间内某些特定于应用程序的趋势。
数据处理管道仍在调整中,因为这是任何人第一次详细研究此数据,而有些人仍在尝试决定他们希望如何处理数据。
建议进行一些更改,尽管它们很容易在logstash管道中完成以处理新的传入数据,但我不确定如何将这些更改应用于已经具有弹性的数据。加载当前数据集花费了几天的时间,并且添加了很多数据,因此通过修改后的管道通过logstash重新处理所有内容可能会花费几天的时间。
将这些更改应用于已被吸收到Elastic中的数据的最佳方法是什么?在测试此设置的早期阶段,我只是删除索引并从头开始进行重建,但这是在非常有限的数据集以及此处使用的数据量的情况下完成的,我不确定这是否可行。有更好的方法吗?