存储非常大的数据列表

Question

我需要存储一个非常大的列表（大小高达80MB），我可以将数据整理并将其存储在多个键中 - A_1，A_2 ......等等。该解决方案看起来远非优雅 - 并且还需要维护查询字典{＆＃39; A＆＃39;：[1,2，....]}以了解特定存在多少块读回来的文件。

在Redis或Aerospike中有没有其他方法可以做同样的事情？我并不十分倾向于使用Redis，任何其他存储（除了关系）都会一样好。

Answer 1

根据您的输入，redis列表适合。您可以对其进行简单的基准测试。通过列表，我假设您将访问某些范围内的数据。

使用lpush推送所有数据http://redis.io/commands/lpush

使用lrange检索数据块http://redis.io/commands/lrange

为了给你一个想法，粗略地，你的列表大小将是10,000。投入80MB数据所需的时间大约需要1秒。检索大约500个数据（在一个范围内）的时间大约需要200毫秒。这可能会因您的输入，RTT等而异。