高效地将pandas数据帧转换为scipy稀疏矩阵

Question

我正在尝试将熊猫数据框转换为稀疏稀疏矩阵，以有效地使用许多功能。

但是，我没有找到一种有效的方法来访问数据框中的值，因此在进行转换时，我总是会用光内存。我尝试了下面的两个解决方案，但它们根本无法工作。我做了很多研究，但没有发现更好的方法。如果有人有建议，我很乐意对其进行测试。

sparse_array = sparse.csc_matrix(df.values)
sparse_array = sparse.csc_matrix(df.to_numpy())

Answer 1

如果您的数据框非常稀疏，则可以按列对其进行转换，然后进行堆栈：

from scipy import sparse

sparse_array = sparse.hstack([sparse.csc_matrix(df[i].values.reshape(-1, 1)) for i in df.columns])

但最好的方法是将其变成稀疏的数据帧：

for i in df.columns:
    df[i] = df[i].astype(pd.SparseDtype(df[i].dtype))

sparse_array = sparse.csc_matrix(df.sparse.to_coo())

（请注意，如果您的dtypes在整个数据帧中都不相同，则可能会出现问题。