在MySQL中存储和访问庞大数据矩阵的最有效方法

Question

我将在mysqlDB中存储大量矩阵数据，这是存储和访问数据的最有效方法吗？

获取数据时效率最重要，表格不会定期更新。

矩阵约为100.000倍1000（未来可能更大）

id1
value
value_id1
id1
value
value_id2
id2
value
value_id1
id2
value
value_id2
.
.
.
id 100.000
value
value_id1000

vs
     value_id1, value_id2, value_id3 ... id 1000
id1  value      value      value
id2  value      value      value
id3  value      value      value
.
.
.
id 100.000

当数据量最大时效率最高，短调用（mysql查询）还是将数据存储为矩阵？数据定期使用，因此获取数据必须高效。

Answer 1

既然你说你想要获取效率，我会使用下面的表格格式

 Column Row Value 
      1   1   1.2
      2   1   2.3
      ...

使用矩阵的列和行的格式和索引，您可以根据需要快速获取任何数据部分。

Answer 2

这里有几个相关的问题：

• BLOB vs. VARCHAR for storing arrays in a MySQL table
• How to represent a 2-D data matrix in a database

密集矩阵的答案似乎归结为一个带有列，行和值的标准化表，如上面Taesung所建议的那样，或者做一些事情，比如将原始矩阵中的各行存储为blob。

HDF5看来是为了这种事情。如果有经验的人可以进一步评论，那就太好了。