我创建了一个网站,可以在其中设置每个单独的K-NN,SVM和随机森林的训练和测试数据的数量。如果我启动django服务器并使用1.000数据训练其中一种算法,那是可行的,但是如果我再次使用> 1.000数据训练另一种或同一算法,或者如果我第一次使用更多数据进行训练,则会出现此错误(位于/的ParserError统计/训练 标记数据时出错。 C错误:内存不足) 我有两个用于训练和测试的csv文件,分别是60.000行和785列的train_csv和10.000行和785列的test_csv。
我尝试使用块读取csv,但是出现相同的错误。
这是我从csv读取数据的方式
data = pd.read_csv("E:\Django\mnist_train.csv", nrows=x).as_matrix()
这是大块的
mylist = []
for chunk in pd.read_csv("E:\Django\mnist_train.csv", nrows=x, chunksize=10):
mylist.append(chunk)
data = pd.concat(mylist, axis=0)
del mylist