在python中读取内存中的大数据

时间:2014-11-13 19:37:57

标签: python scipy

我的数据如下:

2000\t120000
2000\t123
1920\t23943
32\t48832

第一列对应于userid,第二列对应于item id 注意,这些ID不是从0开始。

所以,我正在尝试运行此数据集 https://github.com/gamboviol/bpr/blob/master/bpr.py

 data = mmread(sys.argv[1]).tocsr()

此数据集大约为5gb。什么是将数据转换为此格式的有效方法? 感谢

0 个答案:

没有答案