Question

我最近正在处理此https://www.kaggle.com/gti-upm/leapgestrecog数据集。它是一个手势数据集，我正在尝试进行分类。由于在不同类型的文件夹中都可以使用图像，因此我选择了使用数据加载器。在这里

class DatasetLoader(Dataset):

  def __init__(self,path):
    self.path_list = path
    self.labels = []
    self.to_tensor = transforms.ToTensor()
    self.resize = transforms.Resize((120,320))
    self.gray = transforms.Grayscale(num_output_channels = 1)
    self._init_dataset()

 def _init_dataset(self):
    labels = set()
    for diro in os.listdir("/kaggle/input/leapgestrecog/leapGestRecog"):
      for d in os.listdir(os.path.join("/kaggle/input/leapgestrecog/leapGestRecog",diro)):
        if len(d.split('_'))>2:
          labels.add("_".join(d.split("_")[-2:]))
        else:
          labels.add(d.split("_")[-1])
    labels = list(labels) 
    ## help me on this line with some codes

  def __getitem__(self,idx): 
    if torch.is_tensor(idx): 
      idx = idx.tolist() 
    img_name = self.path_list[idx] 
    img = Image.open(img_name) 
    img = self.resize(img) 
    img = self.gray(img) 
    img = self.to_tensor(img) 
    if len(img_name.split('/')[-2].split('_')) > 2: 
      label = "_".join(img_name.split('/')[-2].split('_')[-2:]) 
    else: 
      label = img_name.split('/')[-2].split('_')[-1] 
    label = ## Here also 
    return img,label

  def __len__(self):
    return len(self.path_list)

我对从此数据集加载器获取的标签有疑问。由于我创建了一个模型，该模型使用10个类的n批数据，因此在损失计算期间，我需要我的标签大小为（n，10）。我不知道该怎么办。这是我的网络设计：

class Net(nn.Module):
    def __init__(self):

        super(Net,self).__init__()
        self.conv1 = nn.Conv2d(1,32,5)
        self.pool = nn.MaxPool2d(2,2)
        self.conv2 = nn.Conv2d(32,64,3)
        self.conv3 = nn.Conv2d(64,64,3)
        self.fc1 = nn.Linear(64*38*13,128)
        self.fc2 = nn.Linear(128,10)

    def forward(self,x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = self.pool(F.relu(self.conv3(x)))
        x = x.view(64,64*38*13)
        x = F.relu(self.fc1(x))

        return F.log_softmax(self.fc2(x),dim = 1)

如果y是图像的标签。为了训练我们的网络，我们用y和输出来提供损失函数。但是我们得到的输出大小为（64,10），因此我需要有关数据加载器中的label的帮助

Answer 1

我看到您对PyTorch中的多类损失函数的输入维有一些误解。用于分类问题的最常用损失函数是nn.CrossEntropyLoss()，它期望将大小为(n, c)（例如(64, 10)）的原始logit作为输入1，并将目标大小为{{1 }}（例如(n)）。

因此，直接执行(10)并使用return F.log_softmax(self.fc2(x),dim = 1)会更稳定，而不是执行return x。无需调整标签形状，您可以通过执行以下操作直接计算损失：

CrossEntropyLoss

自定义数据加载器，用于pytorch中的图像和标签。损失函数输入困难

1 个答案: