为什么RNN总是输出1

Question

我正在使用递归神经网络（RNN）进行预测，但由于一些奇怪的原因，它总是输出1.这里我用玩具示例解释这个：

示例 考虑维度矩阵M（360,5）和包含Y的rowum的向量M。现在，使用RNN，我想从Y预测M。使用rnn R包，我将模型训练为

   library(rnn) 
    M <- matrix(c(1:1800),ncol=5,byrow = TRUE) # Matrix (say features) 
    Y <- apply(M,1,sum) # Output equls to row sum of M
    mt <- array(c(M),dim=c(NROW(M),1,NCOL(M))) # matrix formatting as [samples, timesteps, features]
    yt <- array(c(Y),dim=c(NROW(M),1,NCOL(Y))) # formatting
    model <- trainr(X=mt,Y=yt,learningrate=0.5,hidden_dim=10,numepochs=1000) # training

我在训练时观察到的一个奇怪的事情是，纪元错误总是4501.理想情况下，纪元错误应该随着纪元的增加而减少。

接下来，我创建了一个测试数据集，其结构与上面的结构相同：

M2 <- matrix(c(1:15),nrow=3,byrow = TRUE)
mt2 <- array(c(M2),dim=c(NROW(M2),1,NCOL(M2)))
predictr(model,mt2)

通过预测，我总是将输出设为1。  什么原因可能是恒定的纪元错误和相同的输出？

更新＃1

@Barker提供的答案不适用于我的问题。要打开它，我在这里通过Dropbox链接分享简约数据traindata，testadata和我的R代码。

数据详情：列'power'是响应变量，它是从第1天到第14天的前几天消耗的温度，湿度和功率的函数。

normalize_data <- function(x){
  normalized = (x-min(x))/(max(x)-min(x))
  return(normalized)
}

#read test and train data
traindat <- read.csv(file = "train.csv")
testdat <- read.csv(file = "test.csv")
# column "power" is response variable and remaining are predictors
# predictors in  traindata
trainX <- traindat[,1:dim(traindat)[2]-1]
# response of train data
trainY <- traindat$power
# arrange data acc. to RNN as [samples,time steps, features]
tx <- array(as.matrix(trainX), dim=c(NROW(trainX), 1, NCOL(trainX)))
tx <- normalize_data(tx) # normalize data in range of [0,1]
ty <- array(trainY, dim=c(NROW(trainY), 1, NCOL(trainY))) # arrange response acc. to predictors
# train model
model <- trainr(X = tx, Y = ty, learningrate = 0.08, hidden_dim = 6, numepochs = 400)

# predictors in test data
testX <- testdat[,1:dim(testdat)[2]-1]
testX <- normalize_data(testX) # normalize data in range of [0,1]
#testY <- testdat$power
# arrange data acc. to RNN as [samples,time steps, features]
tx2 <- array(as.matrix(testX), dim=c(NROW(testX), 1, NCOL(testX))) # predict
pred <- predictr(model,tx2)
pred

我改变了参数learning rate, hidden_dim, numepochs，但它仍然导致0.9或1.

Answer 1

大多数RNN不喜欢没有常数均值的数据。处理此问题的一种策略是区分数据。要了解其工作原理，请使用基本R时间序列co2。这是一个具有良好平滑季节性和趋势的时间序列，因此我们应该能够预测它。

对于我们的模型，我们的输入矩阵将是使用co2分解创建的stl时间序列的“季节性”和“趋势”。因此，让我们像以前一样制作我们的训练和测试数据并训练模型（注意我为运行时减少了numepochs）。我将使用过去一年半的所有数据进行培训，然后使用过去一年半进行测试：

#Create the STL decomposition
sdcomp <- stl(co2, s.window = 7)$time.series[,1:2]

Y <- window(co2, end = c(1996, 6))
M <- window(sdcomp, end = c(1996, 6))
#Taken from OP's code
mt <- array(c(M),dim=c(NROW(M),1,NCOL(M)))
yt <- array(c(Y),dim=c(NROW(M),1,NCOL(Y))) 
model <- trainr(X=mt,Y=yt,learningrate=0.5,hidden_dim=10,numepochs=100)

现在我们可以在测试数据的最后一年创建我们的预测：

M2 <- window(sdcomp, start = c(1996,7))
mt2 <- array(c(M2),dim=c(NROW(M2),1,NCOL(M2)))
predictr(model,mt2)

output:
      [,1]
 [1,]    1
 [2,]    1
 [3,]    1
 [4,]    1
 [5,]    1
 [6,]    1
 [7,]    1
 [8,]    1
 [9,]    1
[10,]    1
[11,]    1
[12,]    1
[13,]    1
[14,]    1
[15,]    1
[16,]    1
[17,]    1
[18,]    1

Ewe，就像你的例子一样，这又是一次。现在让我们再试一次，但这次我们将区分数据。由于我们试图将我们的预测作出一年半的考虑，我们将使用18作为我们的差分滞后，因为这些是我们提前18个月知道的值。

dco2 <- diff(co2, 18)
sdcomp <- stl(dco2, s.window = "periodic")$time.series[,1:2]
plot(dco2)

很好，趋势现在已经消失，所以我们的神经网络应该能够更好地找到模式。让我们再试一次新数据。

Y <- window(dco2, end = c(1996, 6))
M <- window(sdcomp, end = c(1996, 6))

mt <- array(c(M),dim=c(NROW(M),1,NCOL(M)))
yt <- array(c(Y),dim=c(NROW(M),1,NCOL(Y)))
model <- trainr(X=mt,Y=yt,learningrate=0.5,hidden_dim=10,numepochs=100)

M2 <- window(sdcomp, start = c(1996,7))
mt2 <- array(c(M2),dim=c(NROW(M2),1,NCOL(M2)))
(preds <- predictr(model,mt2))

output:
              [,1]
 [1,] 9.999408e-01
 [2,] 9.478496e-01
 [3,] 6.101828e-08
 [4,] 2.615463e-08
 [5,] 3.144719e-08
 [6,] 1.668084e-06
 [7,] 9.972314e-01
 [8,] 9.999901e-01
 [9,] 9.999916e-01
[10,] 9.999916e-01
[11,] 9.999916e-01
[12,] 9.999915e-01
[13,] 9.999646e-01
[14,] 1.299846e-02
[15,] 3.114577e-08
[16,] 2.432247e-08
[17,] 2.586075e-08
[18,] 1.101596e-07

好的，现在有东西了！让我们看看它与预测的结果相比，dco2：

不理想，但我们却找到了数据的一般“向上”模式。现在你所要做的就是修补你的学习率，并开始优化所有那些使神经网络工作如此快乐的可爱超参数。当它按照你想要的方式工作时，你可以在你的训练数据的最后18个月内获取你的最终输出并添加回来。

Answer 2

根据我对包中示例的回顾（参见?trainr），训练函数的输入必须是二进制的。包中有函数int2bin和bin2int。

我无法让它们正常工作，但似乎需要转换为二进制文件。