在python中,如何从多个文件中加载机器学习模型的训练数据集?鉴于数据量非常大

时间:2019-07-18 21:48:06

标签: python machine-learning large-data

我的训练数据分布在30个文件中,每个文件8 GB。我想加载每个文件,将数据用作训练集,转储数据,将下一个文件用作训练集...等等。

现在,我正在使用单个数据文件来训练数据集,但是我无法理解如何使用多个文件来进行训练。

for i in range(31):
    X = load('/home//Month5/day1_second.npy', mmap_mode='r+')
    y = load('/home/Month5/day1.npy', mmap_mode='r+')


def anyMachineLearningModel (X,y)

0 个答案:

没有答案