Question

我的任务是创建一个友谊矩阵（用户-用户矩阵），如果用户是朋友，则值为1，否则为0。我的.csv文件有150万行，因此我创建了以下csv文件来测试我的算法：

user_id              friends
   Elena          Peter, John
   Peter          Elena, John
   John           Elena, Peter, Chris
   Chris          John

对于这个小型的csv，我的代码运行良好：

%matplotlib inline

import pandas as pd
import seaborn as sns
import numpy as np

from scipy import sparse

sns.set(style="darkgrid")

user_filepath = 'H:\\YelpData\\test.csv' # this is my little test file

df = pd.read_csv(user_filepath, usecols=['user_id','friends'])

def Convert_String_To_List(string):
    if string!="None":
        li = list(string.split(", ")) 
    else:
        li = []
    return li 

friend_map = {}

for i in range(len(df)): #storing friendships in map
    friend_map[df['user_id'][i]] = Convert_String_To_List(df['friends'][i])

users = sorted(friend_map.keys()) 
user_indices = dict(zip(users, range(len(users)))) #giving indices for users

#and now the sparsity matrix:

row_ind = [] #row indices, where the value is 1
col_ind = [] #col indices, where the value is 1
data = []    # value 1

for user in users:
    for barat in baratok[user]:
        row_ind.append(user_indices[user])
        col_ind.append(user_indices[barat])

for i in range(len(row_ind)):
    data.append(1)

mat_coo = sparse.coo_matrix((data, (row_ind, col_ind)))

friend_matrix = mat_coo.toarray() #this friendship matrix is good for the little csv file

但是，当我尝试将此代码应用于大型（150万行）的csv时，当我想将友情存储在map中（在for循环中）时，出现内存错误。

对此有什么解决办法吗？

Answer 1

我认为您采用的方法不正确，应该使用pandas和矢量化运算来解决您拥有的大数据。

这是一种完整的pandas方法，具体取决于您的数据。

import pandas as pd

_series = df1.friends.apply(lambda x: pd.Series(x.split(', '))).unstack().dropna()
data = pd.Series(_series.values, index=_series.index.droplevel(0))
pd.get_dummies(data).groupby('user_id').sum()

输出

        Chris   Elena   John    Peter
user_id             
Chris   0          0    1        0
Elena   0          0    1        1
John    1          1    0        1
Peter   0          1    1        0

顺便说一句，这可以进一步优化，并且通过使用pandas可以避免使用内存消耗大的for循环，并且可以使用chunksize对数据进行分块以进行进一步的优化。

Answer 2

我认为您不应该重复存储字符串。您需要列出名称，并存储名称的索引，而不是名称本身。这部分代码：

friend_map[df['user_id'][i]] = Convert_String_To_List(df['friends'][i])

可以更改。如果您有用户列表，

users = [....] # read from csv
friend_list = Convert_String_To_List(df['friends'][i])
friend_list_idxs = Get_Idx_of_Friends(users,friend_list) #look up table users
friend_map[df['user_id'][i]] = friend_list_idxs

这样，您将不需要重复存储相同的字符串。

假设您有1000万朋友关系，则需要存储10MB内存。

如何在python中为150万用户创建一个友谊矩阵？

2 个答案: