Question

我一直在尝试使用kyotocabinet TreeDB（MSVC10版本）并偶然发现了一个奇怪的内存问题：基本上，在每次数据库写入时，内存使用量会增加，并且在数据库关闭之前不会下降。

测试代码如下所示：

size_t BLOCK_SIZE = 1 << 20; // use 1MB-sized records
char* test_block = new char[BLOCK_SIZE]; // allocate record data

TreeDB db;
db.open("test.db")

// add 5000 records
for (int i = 0; i < 5000; ++i)
{
    // at each call, process virtual memory usage increases by 1 MB even though i'm not allocating more memory
    // also, as expected, in x86-32 process the whole thing runs out of memory and crashes when iteration counter comes close to 2000
    db.set(&i, sizeof(i), test_block, BLOCK_SIZE);
}

db.close(); // memory usage returns to normal here
delete [] test_block;

当然，我可以在添加每条记录时打开/关闭数据库，但这会引入很大的延迟（大约1秒），这对我的任务来说是不可接受的。此外，在HashDB中不会出现此问题，但我无法真正使用HashDB，因为我偶尔需要按密钥顺序访问。

我尝试改变调整参数（tune_page_cache，tune_buckets，tune_page），但没有运气。可以请有人暗示我在这里失踪了吗？我需要存储一个不可预测的100KB-10MB大小的记录，并在32位系统上运行。

Answer 1

也许db.synchronize()会有所帮助，因为它应该将缓存的数据推送到文件系统，允许用户内存释放。如果是这样，并且您需要始终发生这种情况，请使用可选参数OAUTOSYNC调用open，尽管这可能会使您的速度降低很多。

京都内阁TreeDB：内存使用率无法控制地增长，直到数据库关闭

1 个答案: