Question

我想使用PyTorch对神经网络进行一些实验，所以我尝试了一个简单的实验作为热身运动，但我完全无法理解结果。

本练习尝试从各种问题的统计数据（例如变量数量，最大子句长度等）中预测1000个TPTP问题的等级。数据文件https://github.com/russellw/ml/blob/master/test.csv非常简单，有1000行，最后一列是评分，首先从数十个输入列开始，所有数字都缩放到0-1范围，然后逐步删除功能以查看结果是否仍然保持不变，一直到一个输入列；其他的则是Git历史记录中的早期版本。

我开始使用单独的培训和测试集，但暂时暂时搁置了测试集，因为直到首先获得培训成绩，才出现关于培训绩效是否可以推广到测试的问题。

此数据集的简单线性回归均方误差约为0.14。

我实现了一个简单的前馈神经网络，其代码为https://github.com/russellw/ml/blob/master/test_nn.py，并复制到下面，该代码在经过数百次训练后也具有0.14的均方误差。

因此，我尝试使用一些不同的优化程序将隐藏层的数量从1更改为2到3，调整学习率，将激活功能从relu切换为tanh，再将两者混合，将历元数增加为5000，将隐藏单位的数量增加到1000。这时，它应该很容易具有只存储整个数据集的功能。（在这一点上，我不担心过度拟合。我只是想使训练数据的均方误差为0.14以外的值。）没有任何区别。仍为0.14。我想说它必须限制在局部最优值中，但是当您拥有数百万个权重时，就不会发生这种情况。对于几乎所有参数而言，实际上都不可能处于局部最优状态。而且每次运行的确得到一些稍有不同的数字序列。但是它总是收敛到0.14。

现在很明显的结论是，即使网络有足够的内存来存储所有数据，它仍然保持不变，而0.14就可以解决该问题。但关键是我还尝试了一个随机森林，https://github.com/russellw/ml/blob/master/test_rf.py

...并且随机森林在原始数据集上的均方误差为0.01，随着要素的删除而逐渐降低，而仅具有一个要素的数据仍为0.05。

在机器学习的知识中，没有地方说“随机森林大大胜过神经网络”，所以我大概做错了什么，但我看不出它是什么。也许就像丢失一个标志一样简单，或者您需要在PyTorch中进行设置。如果有人可以看看，我将不胜感激。

import numpy as np
import pandas as pd
import torch
import torch.nn as nn

# data
df = pd.read_csv("test.csv")
print(df)
print()

# separate the output column
y_name = df.columns[-1]
y_df = df[y_name]
X_df = df.drop(y_name, axis=1)

# numpy arrays
X_ar = np.array(X_df, dtype=np.float32)
y_ar = np.array(y_df, dtype=np.float32)

# torch tensors
X_tensor = torch.from_numpy(X_ar)
y_tensor = torch.from_numpy(y_ar)

# hyperparameters
in_features = X_ar.shape[1]
hidden_size = 100
out_features = 1
epochs = 500

# model
class Net(nn.Module):
    def __init__(self, hidden_size):
        super(Net, self).__init__()
        self.L0 = nn.Linear(in_features, hidden_size)
        self.N0 = nn.ReLU()
        self.L1 = nn.Linear(hidden_size, hidden_size)
        self.N1 = nn.Tanh()
        self.L2 = nn.Linear(hidden_size, hidden_size)
        self.N2 = nn.ReLU()
        self.L3 = nn.Linear(hidden_size, 1)

    def forward(self, x):
        x = self.L0(x)
        x = self.N0(x)
        x = self.L1(x)
        x = self.N1(x)
        x = self.L2(x)
        x = self.N2(x)
        x = self.L3(x)
        return x


model = Net(hidden_size)
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.1)

# train
print("training")
for epoch in range(1, epochs + 1):
    # forward
    output = model(X_tensor)
    cost = criterion(output, y_tensor)

    # backward
    optimizer.zero_grad()
    cost.backward()
    optimizer.step()

    # print progress
    if epoch % (epochs // 10) == 0:
        print(f"{epoch:6d} {cost.item():10f}")
print()

output = model(X_tensor)
cost = criterion(output, y_tensor)
print("mean squared error:", cost.item())

Answer 1

可以打印输入的形状吗？我想先检查一下这些东西：

您的目标y的形状为(-1, 1)，我不知道pytorch在这种情况下是否抛出错误。您可以使用y.reshape(-1, 1)（如果不是2暗）
您的学习率很高。通常，使用Adam时，默认值足够好，或者尝试降低学习率。 0.1是一个很高的学习率值，
将optimizer.zero_grad放置在for循环的第一行
标准化/标准化您的数据（通常对NN有用）
删除数据中的异常值（我认为：这对随机森林的影响不大，但对NN的影响却很大）
使用交叉验证（也许skorch可以在这里为您提供帮助。这是pytorch的scikit学习包装器，如果您知道keras，则易于使用）

请注意，在某些情况下，随机森林回归器或任何其他回归器的性能均优于神经网络。在某些领域，神经网络是“图像分类”或“ NLP”等英雄，但是您需要意识到，简单的回归算法可以胜过它们。通常，当您的数据不够大时。

神经网络与随机森林性能差异

1 个答案: