MATLAB HDF5到Dask Dataframe尚不支持?

时间:2019-01-24 00:25:38

标签: pandas matlab dataframe hdf5 dask

我正在从HDF5格式的MATLAB mat文件中提取数据集,如下所示:

matfile = 'C:\\....\\dataStuff.mat'
f = h5py.File(matfile, 'r')
data = f['/' + stuff + '/data/'].value
df = pd.DataFrame(data) # How do I create a Dask DF instead from data?

如何做同样的事情,但是我没有使用熊猫,而是创建了Dask数据框?

以下功能给我一个错误:

  ddf = dd.read_hdf(matfile, 'key')
  

尚不支持HDF5类H5T_COMPOUND

我可以尝试将Pandas DF转换为Dask DF,如下所示,但是我想跳过这一步骤,这又需要2分钟,但是就像我对Pandas所做的那样,将HDF5数据直接拉到Dask Dataframe中

df = dd.from_pandas(df, npartitions=3) # What I don't want to do

0 个答案:

没有答案