我可以使用Logstash来获取压缩数据吗？

Question

我正在尝试将数据提取到Elasticsearch。

数据位于共享文件夹中。如果可能的话，我想删除zip文件，一旦我将其提取到Elasticsearch。

这是一个.zip文件，解压缩到一个大的单个文件，格式如下：

#ReferenceID    123das
#FamilyID       abc
#ArchiveDate    1483237892226   (datetime in millisecond epoch)
#SenderID       user1 
#RecipientID    user2 
#RecipientID    user3   (notice there are more than 1 RecipientID)
#Content        
This is secret content of the document, and it is not encrypted. 
#EndDoc

#ReferenceID    123das/1  (The "/1" means 1st attachment)
#FamilyID       abc        
#ArchiveDate    1483237892227   (datetime in millisecond epoch)
#SenderID       user1 
#RecipientID    user2 
#RecipientID    user3   (notice there are more than 1 RecipientID)
#Content        
This is the secret attachment content  
#EndDoc

#ReferenceID...
...
#EndDoc 

...multiple of these until End of File 

基本上每个

#ReferenceID... 
...
#EndDoc

表示要将文档摄取到Elasticsearch

中

我的问题是可以使用Logstash和Beats完成吗？我该怎么做呢？任何指针都赞赏。

Answer 1

Logstash的文件{}输入无法处理压缩文件。请参阅triangle number。

Filebeat也不能......见github issue，这似乎正在逐步完成。

仅供参考，s3 {}输入可以。