如何将熊猫df转换为稀疏df

时间:2020-01-03 12:02:41

标签: python pandas sparse-matrix

我在一个数据帧中有一个庞大的稀疏数据集,并且一直在使用df.to_sparse,但很快就会弃用,因此想切换到pd.Series(pd.SparseArray()),但不确定整个过程数据框?

我最终的df是10万行和49K列,因此需要一种自动方式。

1 个答案:

答案 0 :(得分:1)

您可以尝试这样的事情:

dtype = {key: pd.SparseDtype(df.dtypes[key].type, fill_value=df[key].value_counts().argmax()) for key in df.dtypes.keys()}

df = df.astype(dtype)

然后使用df.sparse.density检查密度。

这将为每列创建稀疏数据,以最频繁的值作为填充值。

(虽然不确定这是否是最好的方法)