Question

我正在尝试用Pandas数据集（＆gt; 10Gb）创建一个稀疏矩阵

假设我有一个类型为

的数据集

表：类

    student |teacher
---------------------
0   | abc   |   a
1   | def   |   g

我有一份学生名单

students = [ "abc", "def", "ghi", "jkl","mno"]

和教师名单

teachers = ["a","b","c","d","e","f","g"]

我的目标是从中创建一个稀疏矩阵，如果表类中的student-teacher之间存在对应关系，则存在布尔值1。

密集矩阵应如下所示：

    a   b   c   d   e   f   g

abc 1   0   0   0   0   0   0
def 0   0   0   0   0   0   1
ghi 0   0   0   0   0   0   0
jkl 0   0   0   0   0   0   0
mno 0   0   0   0   0   0   0

现在，在我的真实数据集中，我有700K的学生价值观和另外100K的教师价值观。

最初我尝试构造一个简单的密集矩阵，然后使用scipy将其转换为稀疏矩阵。但是，700k * 100k字节= ~70GB，你可以意识到它没有用。

因此，我尝试为学生和教师分配唯一值，然后将这些值附加到行和列，并尝试以坐标格式创建稀疏矩阵。

代码：

# Get unique value for each student and teacher
dictstudent = {}
count = 0
for i in rows:
    dictstudent[i] = count
    count +=1

dictteacher ={}
count = 0
for i in cols:
    dictteacher[i] = count
    count +=1

现在每个教师和学生都有一个与之关联的数字编号。如果学生出现在表格类中，则存储学生的数值，并在r和c中存储教师的数值。

r = []
c = []

for row,col in zip(student,teacher):
    r.append(dictstudent[row])
    c.append(dictteacher[col])

values = [1] * class["student"].size #From the pandas dataframe class

然后加载它以制作稀疏矩阵

a = sparse.coo_matrix((values,(r,c)),shape=(len(students),len(teachers)))

这适用于我的小型测试数据集。然而，对于我的实际大型数据集，它崩溃了。

有更好的方法吗？

Answer 1

您可以将列转换为类别类型，然后使用codes创建coo_matrix对象：

import numpy as np
import string
import random
import pandas as pd
from scipy import sparse

lowercase = list(string.ascii_lowercase)

students = np.random.choice(lowercase, size=[20, 3]).view("<U3").ravel().tolist()
teachers = np.random.choice(lowercase, 8).tolist()

df = pd.DataFrame({"student": [random.choice(students) for _ in range(30)],
                   "teacher": [random.choice(teachers) for _ in range(30)]})

df = df.apply(lambda s:s.astype("category"))
arr = sparse.coo_matrix((np.ones(df.shape[0]), 
    (df.student.cat.codes, df.teacher.cat.codes)))

您可以按df.student.cat.categories和df.teacher.cat.categories获取标签。

Answer 2

这是实现此目的的简单方法

import pandas as pd

dummies = pd.get_dummies(df['teacher'])
new_columns = dummies.columns
long_and_sparse = df.merge(dummies, left_index=True, right_index=True)
sparse_df = long_and_sparse.groupby(["student"], as_index=False)[new_columns].max()

在Pandas Dataframe中为两列创建稀疏矩阵

2 个答案: