有一种方法可以解决“错误标记数据”。 C错误:内存不足的熊猫python吗?

时间:2019-02-13 20:36:25

标签: python pandas csv sklearn-pandas pandas-datareader

我创建了一个网站,可以在其中设置每个单独的K-NN,SVM和随机森林的训练和测试数据的数量。如果我启动django服务器并使用1.000数据训练其中一种算法,那是可行的,但是如果我再次使用> 1.000数据训练另一种或同一算法,或者如果我第一次使用更多数据进行训练,则会出现此错误(位于/的ParserError统计/训练 标记数据时出错。 C错误:内存不足) 我有两个用于训练和测试的csv文件,分别是60.000行和785列的train_csv和10.000行和785列的test_csv。

我尝试使用块读取csv,但是出现相同的错误。

这是我从csv读取数据的方式

data = pd.read_csv("E:\Django\mnist_train.csv", nrows=x).as_matrix()

这是大块的

mylist = []
    for chunk in pd.read_csv("E:\Django\mnist_train.csv", nrows=x, chunksize=10):
        mylist.append(chunk)
    data = pd.concat(mylist, axis=0)
    del mylist

0 个答案:

没有答案