Question

我正在使用python w / scipy包来读取MatLab文件。

然而，它需要太长时间而崩溃。

Dataset大小约为50~MB

有没有更好的方法来读取数据并形成边缘列表？

我的python代码

import scipy.io as io
data=io.loadmat('realitymining.mat')
print data

Answer 1

您可以将结构的每个字段保存在不同的文本文件中，例如：

save('friends.txt', '-struct', 'network', 'friends', '-ascii')

并从python单独加载每个文件

friends = numpy.loadtxt('friends.txt')

立即加载。

Answer 2

解压缩后我可以加载它。但它正在拉伸记忆。

当我尝试使用octave加载时，我得到：

octave:1> load realitymining.mat
error: memory exhausted or requested size too large for range of Octave's index type -- trying to return to prompt

在Ipython中

In [10]: data.keys()
Out[10]: ['network', 's', '__version__', '__header__', '__globals__']
In [14]: data['__header__']
Out[14]: 'MATLAB 5.0 MAT-file, Platform: MACI, Created on: Tue Sep 29 20:13:23 2009'
In [15]: data['s'].shape
Out[15]: (1, 106)
In [17]: data['s'].dtype
Out[17]: dtype([('comm', 'O'), ('charge', 'O'), ('active', 'O'), ('logtimes', 'O'),...  
   ('my_intros', 'O'), ('home_nights', 'O'), ('comm_local', 'O'), ('data_mat', 'O')])
# 58 fields
In [24]: data['s']['comm'][0,1].shape
Out[24]: (1, 30)
In [31]: data['s']['comm'][0,1][0,1]
Out[31]: ([[732338.8737731482]], [[355]], [[-1]], [u'Packet Data'], [u'Outgoing'], 
    [[40]], [[nan]])
In [33]: data['s']['comm'][0,1]['date']
Out[33]: 
array([[array([[ 732338.86915509]]), array([[ 732338.87377315]]),
    ...
    array([[ 732340.48579861]]), array([[ 732340.52778935]])]], dtype=object)

看看这些碎片。简单地尝试print data或print data['s']需要太长时间。显然，快速格式化的结构太大了。

要实际获取此数据，我建议在Python或Matlab中加载一次，然后将有用的部分保存到一个或多个文件中。

Answer 3

也许您可以先将部分数据作为结构中的network处理，我已使用MATLAB将其解压缩here。

还在研究如何整理其他更大的结构。

在python中读取MatLab文件w / scipy

3 个答案: