嵌入式数据存储,用于混合二进制数据

时间:2018-10-30 11:33:24

标签: c++ c database compression embedded-database

我有许多对象(1000-30k),可能包含浮点数据,整数索引等。平均而言,它们可能是600 Kb至6+ Gb。我也有bmp纹理和其他各种数据。 我想将它们存储到单个数据库中。 我已经尝试过各种NoSQL DB,例如BerkeleyDB,RocksDB,它们无法存储4gb +这样的大对象,并且处理数据的速度非常慢。 我查看过各种存档格式,但都不满足我的需求。

我从存储中需要什么:

  • 快速的读写性能(最好是并行的)
  • 多核压缩/解压缩(ZSTD完美)
  • 随机访问(读取,修改,删除和插入)
  • 如果将所有内容都存储在一个文件中,则更可取
  • 使用方便简单
  • C / C ++ API

我也尝试过TileDB,但是目前它存在很多问题,但是一切都还不错,但是读取性能却很糟糕,例如检索1 Mb的顶点数据需要3秒钟,这对我来说是不可接受的,可能是错误或其他原因。不知道。

我没有想法,所以我需要帮助,也许有些东西完全适合需求,但我没有注意到。

0 个答案:

没有答案