在JVM内存中缓存大型查找表

时间:2015-05-19 21:47:32

标签: java caching jvm distributed-caching ehcache-bigmemory

我们有一个大型历史交易数据集,我们有一个系统需要根据此数据集中的每个历史交易检查新交易。

这涉及在每个历史交易上运行算法,该算法产生针对新交易的匹配分数。这意味着按顺序执行事务,我们无法使用索引或散列来尝试减少需要检查的事务数。

其他几点,交易总是被添加到数据集中,并且它们永远不会被驱逐。此外,我们通过在不同服务器上的工作人员之间拆分数据集来分发处理。

刚才系统使用Java Collection类将事务数据集缓存在内存中。这主要是因为它提供了速度要求,因为它提供了对事务的快速顺序访问。

我想知道的是,有任何缓存系统(如EHCache)可帮助我们跨不同服务器分发数据集,但仍提供对缓存中记录的快速顺序访问。

1 个答案:

答案 0 :(得分:0)

重新发明轮子真是太诱人了!当Oracle在内存数据库中为什么我们不能这样做...让我也尝试一下。如何散列字节数组并保留这些哈希值?当存在哈希冲突时,转到真实数据库并仔细检查整个数组。太诱人......