我正在实现流利的设置,以将原始日志存档到s3中,然后提取到ELK集群中。
如果ELK集群丢失了,或者在清除了ES索引之后,归档数据突然变得很有趣,我希望能够重新记录S3中归档中的原始事件。流利的文档似乎未包含有关如何完成此操作的任何参考,并且Google搜索归档中的回填或恢复一直没有结果。
我已经看过s3输入插件,但是它的表现与in_tail类似,在这里我需要选择apache2,nginx等格式,并且我希望将这些行作为原始事件导入。
out_file格式是由制表符分隔的行,<time>\t<tag>\t<record>\n
是最简单的方法来“重新水化”该行,使其流畅地转换为原始消息的精确副本?