Question

我有以下代码：

from __future__ import print_function
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import numpy as np
import scipy.io

folder = 'small/'
mat = scipy.io.loadmat(folder+'INISTATE.mat');
ini_state = np.float32(mat['ini_state']);
ini_state = torch.from_numpy(ini_state);
ini_state = ini_state.cuda();

mat = scipy.io.loadmat(folder+'TARGET.mat');
target = np.float32(mat['target']);
target = torch.from_numpy(target);
target = target.cuda();

class MLPNet(nn.Module):
    def __init__(self):
        super(MLPNet, self).__init__()
        self.fc1 = nn.Linear(3, 64)
        self.fc2 = nn.Linear(64, 128)
        self.fc3 = nn.Linear(128, 128)
        self.fc4 = nn.Linear(128, 41)
    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = F.relu(self.fc3(x))
        x = self.fc4(x)
        return x

    def name(self):
        return "MLP"

model = MLPNet();
model = model.cuda();

criterion = nn.MSELoss();
criterion = criterion.cuda();
learning_rate = 0.001;
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) 

batch_size = 20
iter_size = int(target.size(0)/batch_size)
print(iter_size)

for epoch in range(50):
    for i in range(iter_size):  
        start = i*batch_size;
        end = (i+1)*batch_size-1;
        samples = ini_state[start:end,:];
        labels = target[start:end,:];

        optimizer.zero_grad()  # zero the gradient buffer
        outputs = model(samples)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        if (i+1) % 500 == 0:
            print("Epoch %s, batch %s, loss %s" % (epoch, i, loss))
    if (epoch+1) % 7 == 0: 
        for g in optimizer.param_groups:
            g['lr'] = g['lr']*0.1;

但是当我训练简单的MLP时，CPU使用率约为100％，而gpu仅为10％左右。阻止使用GPU的问题是什么？

Answer 1

实际上你的模型确实在GPU而不是CPU上运行。 GPU使用率低的原因是您的模型和批量都很小，这需要低计算成本。您可以尝试将批量大小增加到大约1000，并且GPU使用率应该更高。实际上PyTorch可以防止混合CPU和GPU数据的操作，例如，你不能将GPU张量和CPU张量相乘。所以通常你的网络部分不太可能在CPU上运行而另一部分在GPU上运行，除非你刻意设计它。

顺便说一句，数据混洗对神经网络来说是必要的。由于您正在使用小批量培训，因此在每次迭代中您都希望迷你批次接近整个数据集。在没有数据混洗的情况下，小批量中的样本可能高度相关，这导致参数更新的偏差估计。 PyTorch提供的数据加载器可以帮助您进行数据混洗。

Pytorch没有使用cuda设备

1 个答案: