为什么pandas pd.SparseDataFrame永远不会为大型数据集完成?

时间:2017-10-14 23:11:18

标签: python-3.x pandas dataframe sparse-matrix

我有以下似乎没有完成的python3代码。估计需要多长时间?我希望能够使用sparsedataframes,因为大量的元素是0值。

>>> s_matrix
<12000x61190 sparse matrix of type '<class 'numpy.float32'>' with 1577553 stored elements in Compressed Sparse Row format>

>>> sdf = pd.SparseDataFrame(s_matrix)

这已经运行了几个小时但仍未完成。同样,我能够将1.3GB数据集加载到数据帧中,但是sdf = df.to_sparse()从未完成,我最终中止了运行。

任何有关加快转换为SparseDataFrame的帮助都将受到赞赏。

0 个答案:

没有答案