推荐快速＆amp;可扩展的持久性Map - Java

Question

我需要一个磁盘支持的Map结构才能在Java应用程序中使用。它必须具有以下标准：

1. 能够存储数百万条记录（甚至数十亿条）
2. 快速查找 - 地图上的大多数操作只是查看密钥是否已存在。这和上面的1是最重要的标准。对于经常使用的密钥，应该有一个有效的内存缓存机制。
3. 持久，但不需要交易，可以忍受一些失败。即乐意定期与磁盘同步，并且不需要是事务性的。
4. 能够存储简单的基本类型 - 但我不需要存储序列化对象。
5. 它不需要分发，即将在一台机器上运行。
6. 设置简单＆amp;免费使用。
7. 无需关系查询

记录键将是字符串或长整数。如上所述，读取将比写入更频繁，并且大多数读取将仅仅是检查密钥是否存在（即，不需要读取密钥相关数据）。每条记录仅更新一次，记录不会被删除。

我目前使用的是Bdb JE，但我正在寻找其他选择。

---

更新

此后，通过减少对二级密钥的依赖性，提高了现有BDB设置的查询性能。有些查询需要在两个辅助密钥上进行连接，并将它们组合成一个复合密钥，我在查找中删除了一个间接级别，这样可以很好地加快速度。

Answer 1

JDBM3完全符合您的要求。它是一个磁盘支持的映射库，具有非常简单的API和高性能。

<强>更新

此项目现已发展为MapDB http://www.mapdb.org

Answer 2

您可能需要查看OrientDB。

Answer 3

您可以从http://openhft.net/products/chronicle-map/尝试Java Chronicles Chronicle Map是一种高性能的堆外键值，在内存中，持久化数据存储。它的工作方式类似于标准的java地图

Answer 4

我可能会使用本地数据库。比如说Bdb JE或HSQLDB。请问这种方法有什么问题？你必须有一些理由寻找替代方案。

回应评论： 由于问题表现而且我猜你已经在使用JDBC来处理这个问题，所以可能值得尝试HSQLB并阅读Memory and Disk Use上的章节。

Answer 5

截至今天，我要使用MapDB（基于文件/支持同步或异步）或Hazelcast。在稍后，您将必须实现自己的持久性，即通过实现Java接口由RDBMS支持。 OpenHFT编年史可能是另一种选择。我不确定那里的持久性是如何起作用的，因为我从未使用它，但声称有一个。 OpenHFT完全脱离堆，允许部分更新对象（原语）而不进行（反）序列化，这可能是一种性能优势。

注意：如果由于内存问题需要基于映射磁盘，则最简单的选项是MapDB。 Hazelcast可以用作缓存（分布式或非分布式），允许您在时间或大小之后从堆中逐出元素。 OpenHFT是关闭堆的，如果你只需要jvm重启的持久性就可以考虑。

Answer 6

SQLite这样做。我写了一个从Java使用它的包装器：http://zentus.com/sqlitejdbc

正如我在评论中提到的，我已成功使用带有千兆字节数据和数亿行表的SQLite。如果你正确地考虑索引，那就非常快。

唯一的痛苦是JDBC接口。与简单的HashMap相比，它很笨重。我经常最终为特定项目编写JDBC包装器，这可以添加许多样板代码。

Answer 7

我发现Tokyo Cabinet是一个简单的持久性哈希/地图，并且设置和使用都很快。

这个简短的例子取自the docs，显示了从持久地图中保存和检索数据是多么简单：

    // create the object
    HDB hdb = new HDB();
    // open the database
    hdb.open("casket.tch", HDB.OWRITER | HDB.OCREAT);
    // add item 
    hdb.put("foo", "hop");
    hdb.close();

Answer 8

我认为Hibernate Shards可以轻松满足您的所有要求。

Answer 9

JBoss (tree) Cache是一个不错的选择。您可以从JBoss独立使用它。非常强大，高效，灵活。