Question

我在我的应用程序中使用LevelDB和5个数据库。使用选项max_open_files = 64打开每个数据库。

ulimit -Sn显示操作系统限制为1024个文件。将限制设置为2048可以解决问题。因为我正在将这个应用程序分发给人们，所以它应该具有开箱即用的默认设置，而不需要人们配置他们的操作系统。

leveldb::Status status = db_spends_->Get(
    leveldb::ReadOptions(), spent_slice, &raw_spend);
if (!status.ok())
{
    std::cerr << "fetch_spend: " << status.ToString() << std::endl;
    return false;
}

我收到很多这些错误，根本无法读取。

"fetch_spend: IO error: XXXX.sst: Too many open files"

在一个名为database的子目录中有5个数据库：

$ ls
addr  block  block_hash  spend  tx
$ du -sh .
16G .
$ du -sh *
2.6G    addr
653M    block
7.2M    block_hash
2.6G    spend
9.4G    tx
$ for i in `ls`; do echo $i; ls $i | wc -l; done
addr
1279
block
333
block_hash
10
spend
1433
tx
5252

我想为每个.sst文件更改LevelDB内的2 MB限制，但它看起来似乎不可调，我只在Google上看到了这个补丁：https://github.com/basho/leveldb/pull/7

我正在使用Ubuntu 13.04 64位。

以下是我用于打开数据库的代码。如果我在调用open_options.max_open_files之前显示leveldb::DB::Open()，则会显示64（正如预期的那样）。

bool open_db(const std::string& prefix, const std::string& db_name,
    std::unique_ptr<leveldb::DB>& db, leveldb::Options open_options)
{
    using boost::filesystem::path;
    path db_path = path(prefix) / db_name;
    leveldb::DB* db_base_ptr = nullptr;
    leveldb::Status status =
        leveldb::DB::Open(open_options, db_path.native(), &db_base_ptr);
    if (!status.ok())
    {
        log_fatal(LOG_BLOCKCHAIN) << "Internal error opening '"
            << db_name << "' database: " << status.ToString();
        return false;
    }
    // The cointainer ensures db_base_ptr is now managed.
    db.reset(db_base_ptr);
    return true;
}

...

// Create comparator for blocks database.
depth_comparator_.reset(new depth_comparator);
// Open LevelDB databases
const size_t cache_size = 1 << 20;
// block_cache, filter_policy and comparator must be deleted after use!
open_options_.block_cache = leveldb::NewLRUCache(cache_size / 2);
open_options_.write_buffer_size = cache_size / 4;
open_options_.filter_policy = leveldb::NewBloomFilterPolicy(10);
open_options_.compression = leveldb::kNoCompression;
open_options_.max_open_files = 64;
open_options_.create_if_missing = true;
// The blocks database options needs its depth comparator too.
leveldb::Options blocks_open_options = open_options_;
blocks_open_options.comparator = depth_comparator_.get();
if (!open_db(prefix, "block", db_blocks_, blocks_open_options))
    return false;
if (!open_db(prefix, "block_hash", db_blocks_hash_, open_options_))
    return false;
if (!open_db(prefix, "tx", db_txs_, open_options_))
    return false;
if (!open_db(prefix, "spend", db_spends_, open_options_))
    return false;
if (!open_db(prefix, "addr", db_address_, open_options_))
    return false;

即使我设置了max_open_files = 20，我仍然会遇到同样的问题。

Answer 1

直到最近，当max_option_files设置为＆lt;时，可能会出现一些病态行为。 74，使用了数百个文件描述符而不是选项所说的。（最新版本的leveldb夹具限制了一个74的底限。）设置为~80有任何影响吗？如果没有，并且你仍然遇到问题，当你看到不良行为时，你能运行适当的lsof咒语吗？这将告诉我们文件描述符的去向。

LevelDB：IO错误：XXX.sst：打开的文件太多

1 个答案: