我使用SVM-light进行研究,并且它做得很好(至少它还在处理中)
svm_learn.exe -t 3 -m 4000 learn_data model
这里的Learn_data大约有14.000.000行数据,有20.000个功能。
但对于排名模式的-z p
标志,它崩溃了1.000.000行数据:
svm_learn.exe -t 3 -z p -m 4000 learn_data_1mil model
结果:
OK. (10000000 examples read)
Constructing 1380570988 rank constrains...Out of memory!: Not enough space
目前的设置是64GB的内存,看起来SVM并没有尝试使用它。我尝试使用超过4000 MB作为高达20000的缓存。但它没有帮助,如果是缓存错误,SVM应该告诉缓存而不仅仅是内存错误。没有找到解决方法的文件化方法。如何处理我的数据?