我有20个.csv文件,其中包含有关某些器官的数据。它们太大了,无法合并,因为我什至试图合并它们都用光了RAM。我设法合并了10个,但加载时我的RAM用完了,因此无法合并。
我想在2-20上训练我的CNN,然后用1对其进行测试。但是,我的方法似乎每次使用新的装置都会重置网络。
我将输出粘贴到这里:https://justpaste.it/28tk0
但是总而言之,即使经过9个小时的训练,测试集的准确度仍然在10%到20%之间(总共有23个班级)。问题是它根本没有改善。但是,最重要的部分是由于某些原因,在文件14之后,测试精度始终约为40%。对于文件3,它实际上始终为13%。
从这些结果中,我得出结论,我未能在多个集合上训练CNN,相反,当我使用新集合时,它总是会重置。
这是我尝试过的:
n_epochs = 10
for epoch in range(n_epochs):
for i in range(2,21):
train_dataset = mydata('./data/{}.csv'.format(i), transform= transforms.Compose(
[transforms.ToPILImage(),
transforms.ToTensor(),
transforms.Normalize(mean=(0.5,), std=(0.5,))]))
train_loader = torch.utils.data.DataLoader(dataset=train_dataset,batch_size=batch_size, shuffle=True)
train(epoch, i)