将大型Json /文件系统插入数据库或压缩

时间:2019-01-22 12:03:06

标签: json database elasticsearch logging

我正在使用其他API,因此我需要记录所有这些请求/响应。截至目前,我正在为“请求/响应”创建文件系统,它每分钟超过1GB。每个文件的平均大小约为7 MB。由于我创建了日志文件系统,因此创建日志没有延迟,但是CPU使用率存在问题。

我这里确实有两个问题:

1-创建文件系统需要大量存储。我计划每5分钟使用Gzip压缩一次,最多可压缩1000个文件。  2-看起来压缩占用大量CPU资源。

我正在寻找优化/更快的方式来记录所有这些响应。

谢谢, Soheil

0 个答案:

没有答案