我在一个数据帧中有一个庞大的稀疏数据集,并且一直在使用df.to_sparse,但很快就会弃用,因此想切换到pd.Series(pd.SparseArray()),但不确定整个过程数据框?
我最终的df是10万行和49K列,因此需要一种自动方式。
答案 0 :(得分:1)
您可以尝试这样的事情:
dtype = {key: pd.SparseDtype(df.dtypes[key].type, fill_value=df[key].value_counts().argmax()) for key in df.dtypes.keys()}
df = df.astype(dtype)
然后使用df.sparse.density
检查密度。
这将为每列创建稀疏数据,以最频繁的值作为填充值。
(虽然不确定这是否是最好的方法)