下面为何需要此详细信息:
我有大量数据保存为.mat文件。...麻烦的是,我需要加载完整的.mat文件才能开始在此处操作和绘制数据。如果该文件很大,仅将其加载到内存中就成为一项艰巨的任务。
这些.mat文件是由对晶体管的原始电测量数据进行分析得出的。所有.mat文件都具有相同的结构,但是每个文件都对应一个不同且唯一的晶体管。
现在说我想在A和B中通用的所有晶体管中比较某个参数,我必须手动搜索并加载所需的所有.mat文件,然后尝试进行比较。没有简单的方法将所有这些.mat文件合并为一个.mat文件(因为它们都具有相同的变量名,但具有不同的数据)。即使有可能,我也无法查询.mat文件中的特定条目。
在没有结构化数据库可以查询特定条目的情况下,我看不到轻松实现此目标的方法。然后,我可以使用任何编程语言(继续使用Matlab或切换到python)来方便地进行比较和绘图...等。无需分散的.mat文件。
问题在于.mat文件中的数据是按结构和大数组构造的。据我所知,将其存储在简单的SQL数据库中并不是一项直接的任务。我使用HDF5进行了查找,但是从examples中我看到,我必须执行许多低级命令以将这些结构存储在HDF文件中,并且不确定是否可以将HDF文件的一部分加载到Matlab / python还是如果我还必须先将整个文件加载到内存中。
此处的目标是将所有现有的(以及将要创建的).mat文件(及其结构和数组的复合数据结构)合并到一个数据库文件中,从中我可以查询特定的条目。有数据库解决方案可以保留我的复杂数据的结构吗? HDF是要走的路吗?还是我缺少一个简单的解决方案?
编辑:
我需要保存和检索的数据示例:
All(16).rf.SS(3,2).data
All
是具有7个字段的结构数组。 rf
字段中的每个结构都是具有数组,整数,字符串和结构的结构。这些结构之一被命名为SS
,这又是一个结构数组,每个结构包含一个名为data
的2x2数组。
答案 0 :(得分:2)
通常,没有简单的方法将.mat文件合并到单个.mat文件中(因为它们都具有相同的变量名,但具有不同的数据)。
假设您有两个文件data1.mat
和data2.mat
,每个文件包含两个变量a
和b
。您可以这样做:
>> s = load('data1')
s =
struct with fields:
a: 'foo'
b: 3
>> s(2) = load('data2')
s =
1×2 struct array with fields:
a
b
现在您有一个struct array (请参阅下面的注释)。您可以像这样访问其中的数据:
>> s(1).a
ans =
'foo'
>> s(2).a
ans =
'bar'
但是您也可以一次获取每个字段的所有值,例如comma-separated list,您可以将其分配给单元格数组或矩阵:
>> s.a
ans =
'foo'
ans =
'bar'
>> allAs = {s.a}
allAs =
1×2 cell array
{'foo'} {'bar'}
>> allBs = [s.b]
allBs =
3 4
注意:令人讨厌的是,似乎必须先使用正确的字段创建结构,然后才能使用索引将其分配给它。换句话说
s = struct;
s(1) = load('data1')
不起作用,但是
s = struct('a', [], 'b', [])
s(1) = load('data1')
可以。
如果您不需要搜索每个.mat文件中的所有数据,只需搜索某些字段,则可以在MATLAB中建立一个索引,其中仅包含每个.mat文件中的相关元数据以及参考(例如文件名)到文件本身。作为长期解决方案,它的健壮性较低,因为您必须确保索引与文件保持同步,但设置工作量应减少。
如果您真的想将所有内容保留在数据库中,则可以将数据结构转换为表格形式,其中将诸如结构或数组之类的任何多维元素“展平”到表行中,每行具有一个标量值(表变量。
例如,如果您有一个具有字段s
和s.a
的结构s.b
,并且s.b
是2 x 2的矩阵,则可以将变量{{1 }},s_a
,s_b_1_1
,s_b_1_2
和s_b_2_1
-可能不是理想的数据库设计,但是您可以理解。
您应该能够适应this answer和/或MATLAB File Exchange提交flattenstruct2cell和flatten-nested-cell-arrays中的代码,以满足您的需求。