灵活存储和检索动作捕捉数据

Question

我想从C / C ++代码灵活地访问动作捕捉数据。我们目前有一堆单独的文件（.c3d格式）。我们可以预期全套数据长达数小时，并且每帧跟踪大约50个标记（每个浮标4个），以60赫兹为单位进行采样。所以我们可能会看几千兆字节的数据。

我希望拥有一个可以保存数据的数据库，从而可以相对快速地检索，扩充和修改数据。我希望能够将标签应用于数据并通过标签，时间索引（例如，帧400-2000或每30帧）或其他潜在标准来检索帧序列。

这样的事情已经存在吗？我可以用SQLite这样做吗？有没有人对我可能获得什么样的表现有直觉？

目前，我只是一次加载一个.c3d文件并进行处理。我还没有开始将元数据/标签应用于序列。我将访问用于可视化，统计分析和机器学习培训的序列。

Answer 1

如果您需要使用已知架构存储数GB的数据，您可能需要查看二进制平面文件数据库。在那些可用的，我会建议HDF5。它不是像SQLite这样的关系数据库，而是为阵列和矩阵数据提供了丰富的支持，具有出色的性能。如果您将机器学习扩展到群集上，它还包括MPI支持。