Redis RDB比内存使用量小(203KB)(716MB)

时间:2016-04-24 08:31:05

标签: redis

我有一个Redis实例作为Logstash的队列和Sensu的数据库,所以理想情况下队列总是几乎为空,因为Logstash能够按照它提交给Redis的速率处理日志Sensu仅存储最新的测量值。但是,当我执行检查Redis上的内存使用情况时,会说:

root@b7588aa11859:/data# redis-cli info | grep memory used_memory:751751344 used_memory_human:716.93M used_memory_rss:774729728 used_memory_peak:754163560 used_memory_peak_human:719.23M used_memory_lua:154624

但是当我检查dump.rdb文件的大小时,它会说:

root@b7588aa11859:/data# ls -lah total 212K drwxr-xr-x 2 redis redis 4.0K Apr 24 08:22 . drwxr-xr-x 49 root root 4.0K Apr 21 06:07 .. -rw-r--r-- 1 redis redis 203K Apr 24 08:22 dump.rdb

Logstash似乎工作正常;日志流入Kibana,指标进入Grafana。

当我运行rdb -c memory dump.rdb时,我获得了许多使用非常少内存的密钥,只有topbeat密钥(我使用topbeat来收集指标)使用了大量内存:

database,type,key,size_in_bytes,encoding,num_elements,len_largest_element 0,list,"topbeat",797811,linkedlist,1686,986

但是,797811字节仍然只有779 KB。

那么为什么Redis仍然占用了所有的记忆?它的内存使用量在过去的~2200分钟内以~300KB /分钟的速度稳步增长。

这里有一些日志:

1:M 24 Apr 08:22:07.312 * 10000 changes in 60 seconds. Saving... 1:M 24 Apr 08:22:07.333 * Background saving started by pid 5648 5648:C 24 Apr 08:22:07.346 * DB saved on disk 5648:C 24 Apr 08:22:07.362 * RDB: 1 MB of memory used by copy-on-write 1:M 24 Apr 08:22:07.449 * Background saving terminated with success 1:M 24 Apr 08:25:07.403 * 10000 changes in 60 seconds. Saving... 1:M 24 Apr 08:25:07.427 * Background saving started by pid 5657 5657:C 24 Apr 08:25:07.462 * DB saved on disk 5657:C 24 Apr 08:25:07.473 * RDB: 1 MB of memory used by copy-on-write 1:M 24 Apr 08:25:07.527 * Background saving terminated with success 1:M 24 Apr 08:29:07.375 * 10000 changes in 60 seconds. Saving... 1:M 24 Apr 08:29:07.391 * Background saving started by pid 5660 5660:C 24 Apr 08:29:07.419 * DB saved on disk 5660:C 24 Apr 08:29:07.433 * RDB: 1 MB of memory used by copy-on-write 1:M 24 Apr 08:29:07.492 * Background saving terminated with success 1:M 24 Apr 08:33:07.372 * 10000 changes in 60 seconds. Saving... 1:M 24 Apr 08:33:07.396 * Background saving started by pid 5661 5661:C 24 Apr 08:33:07.423 * DB saved on disk 5661:C 24 Apr 08:33:07.435 * RDB: 2 MB of memory used by copy-on-write 1:M 24 Apr 08:33:07.496 * Background saving terminated with success

2 个答案:

答案 0 :(得分:0)

RDB文件的大小是加载到内存中时相同数据的不同表示形式。

当您需要使用内存时,Redis正在尽可能地优化数据访问时间,可能会发生这样的情况:数据的组织方式可能是优先级为访问时间。

与内存优化相反,当Redis将快照执行到磁盘(RDB文件)时,优先级不是速度但限制磁盘消耗,因为如您所知,Redis不处理文件及其数据使用后台进程持久化。也就是说,任何写操作首先在内存中持久存储并且没有完全保证在出现问题时整个数据将会到达磁盘。

答案 1 :(得分:0)

与许多键值存储一样,Redis在删除键时不会释放内存。因此redis的实际内存使用量基本上是峰值内存使用量。

有关更多信息,请查看redis documentation的内存分配部分。