Question

我是深度学习的新手，我建立了一个非常简单的模型来尝试训练我的数据。我有两个功能输入：sex和age。 sex是0或1，而age在25和60之间。输出仅为0表示此人没有这种疾病，1表示有这种疾病。

但是，当我训练模型时，训练损失根本不会减少。看起来是因为我的两个功能在范围上有很大不同。那么我该如何解决呢？任何建议将不胜感激。

我的代码在这里：

class Net(nn.Module):
    def __init__(self):
        super(Net,self).__init__()

        self.fc1 = nn.Sequential(
            nn.Linear(2,50),
            nn.ReLU(),
            nn.Linear(50,2)
        )

    def forward(self,x):
        x = self.fc1(x)

        x = F.softmax(x, dim=1)
        return x

#Inputs
X = np.column_stack((sex,age))
X = torch.from_numpy(X).type(torch.FloatTensor)
y = torch.from_numpy(y).type(torch.LongTensor)


#Initialize the model        
model = Net()
#Define loss criterion
criterion = nn.CrossEntropyLoss()
#Define the optimizer
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

epochs = 1000

losses = []
for i in range(epochs):

    y_pred = model.forward(X)
    #Compute Cross entropy loss
    loss = criterion(y_pred,y)
    #Add loss to the list
    losses.append(loss.item())
    #Clear the previous gradients
    optimizer.zero_grad()
    #Compute gradients
    loss.backward()
    #Adjust weights
    optimizer.step()
    _, predicted = torch.max(y_pred.data, 1)

    if i % 50 == 0:
        print(loss.item())

火车失窃看起来像这样

0.9273738861083984
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618
0.6992899179458618

编辑

谢谢您的评论。抱歉，我的问题不清楚。这是我网络的一部分，我的输入数据包含两个部分：第一部分是一些信号数据，我使用CNN模型对其进行训练，并且效果很好；第二部分是我上面提到的。我的目标是合并两个模型以提高准确性。我已经尝试过规范化，并且看起来可行。我想知道在预处理数据时总是需要进行标准化吗？谢谢！

Answer 1

替代方法。

如果年龄在(25-60)范围内具有离散值，则一种可能的方法是学习sex和age这两个属性的嵌入。

例如，

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()

        self.sex_embed = nn.Embedding(2, 20)
        self.age_embed = nn.Embedding(36, 50)

        self.fc1 = nn.Sequential(
            nn.Linear(70, 35),
            nn.ReLU(),
            nn.Linear(35, 2)
        )

    def forward(self, x):
        # write the forward

在上面的示例中，我假设年龄值将是整数(25, 26, ..., 60)，因此对于每个可能的值，我们都可以学习矢量表示。

因此，我建议学习一种20d的性别表示和50d的年龄表示。您可以更改尺寸并进行实验以找到最佳值。

如何在深度学习模型中训练不同尺度的特征

1 个答案: