我们想在Elasticsearch中的Cloudwatch中的日志上进行一些分析(因为它的速度更快),因此我们需要将新数据直接从CW流传输到S3 / Elasticsearch(使用Lambda并订阅到指定的Loggroup),然后还需要检查历史数据。
对于历史数据,我设法将数据从Cloudwatch导出到S3。不幸的是,它们被压缩为.json文件。但是它们现在存在于S3中。
因此,现在我在S3中有成千上万个.gz文件。 现在如何将这些文件导出到Elasticsearch?我需要AWS数据库迁移服务吗?
如果这样,https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.S3.html说,文件必须是.csv。真的吗?我真的需要将所有这些zppied .json转换为.csv,然后使用AWS DBMS将其迁移到Elasticsearch吗? 如果是这样,什么是最好的方法?
或者是否有其他方法或服务(aws)分析Cloudwatch的历史日志数据或将其放入另一个更快的数据库(aws)?
谢谢!