我正在开发一个我需要开发缓存的财务数据库。我有一个包含大量原始实时数据的MySQL数据库。然后使用Flask(Python)通过HTTP API提供此数据。
在返回原始数据之前,它由我的python代码操纵。这种操作可能涉及大量数据,因此缓存系统是有序的。
缓存的数据永远不会改变。例如,如果有人在2000-01-01的时间范围内查询数据直到现在,数据将被操纵,返回并存储在缓存中,作为从2000-01-01到现在的特定操作数据。如果稍后再次查询相同的操纵数据,则缓存将从2000-01-01检索值,直到最后一次查询,从而消除了整个时间段内操作的需要。然后,它将从那时起操作新数据,直到现在,并将其添加到缓存中。
数据大小不应太大(我认为最大值不超过5GB)。
我需要能够使用日期范围从缓存中检索。
我应该看哪个DB? MongoDB的? Redis的? CouchDB的?
谢谢!
答案 0 :(得分:0)
对于如此小的数据集使用BigData解决方案似乎是浪费,并且可能仍然不会大喊所需的延迟。 看起来你需要的不是像MongoDB或CouchDB这样的BigData解决方案,而是分布式缓存(或内存数据网格)。
其中一个领先的解决方案(我是其贡献者之一)似乎是您需要的完美匹配是XAP弹性缓存。 有关详细信息,请参阅:http://www.gigaspaces.com/datagrid
你可以找到一篇文章,详细描述如何使用DataGrid来扩展MySQL:“扩展MySQL” - http://www.gigaspaces.com/mysql