Question

我正在编写一个神经网络，用于使用x + sin(x^2)包预测R中时间序列neuralnet中的元素。这就是训练数据的生成方式，假设一个4个元素的窗口，并且最后一个是必须预测的那个：

nntr0 <- ((1:25) + sin((1:25)^2))
nntr1 <- ((2:26) + sin((2:26)^2))
nntr2 <- ((3:27) + sin((3:27)^2))
nntr3 <- ((4:28) + sin((4:28)^2))
nntr4 <- ((5:29) + sin((5:29)^2))

然后，我把它们变成了data.frame：

nntr <- data.frame(nntr0, nntr1, nntr2, nntr3, nntr4)

然后，我继续训练NN：

net.sinp <- neuralnet(nntr4 ~ nntr0 + nntr1 + nntr2 + nntr3, data=nntr, hidden=10, threshold=0.04, act.fct="tanh", linear.output=TRUE, stepmax=100000)

过了一会儿，给了我留言

Warning message:
algorithm did not converge in 1 of 1 repetition(s) within the stepmax 
Call: neuralnet(formula = nntr4 ~ nntr0 + nntr1 + nntr2 + nntr3, data = nntr,     hidden = 10, threshold = 0.04, stepmax = 100000, act.fct = "tanh", linear.output = TRUE)

任何人都可以帮我弄清楚它为什么不融合？非常感谢

Answer 1

使用tanh作为激活函数（它是有界的），重现信号中的线性趋势非常困难。

您可以使用线性激活功能，或试图消除信号。

# Data
dx <- 1
n <- 25
x <- seq(0,by=dx,length=n+4)
y <- x + sin(x^2)
y0 <- y[1:n]
y1 <- y[1 + 1:n]
y2 <- y[2 + 1:n]
y3 <- y[3 + 1:n]
y4 <- y[4 + 1:n]
d <- data.frame(y0, y1, y2, y3, y4)
library(neuralnet)

# Linear activation functions
r <- neuralnet(y4 ~ y0 + y1 + y2 + y3, data=d, hidden=10)
plot(y4, compute(r, d[,-5])$net.result)

# No trend
d2 <- data.frame(
  y0 = y0 - x[1:n], 
  y1 = y1 - x[1 + 1:n], 
  y2 = y2 - x[2 + 1:n], 
  y3 = y3 - x[3 + 1:n], 
  y4 = y4 - x[4 + 1:n]
)
r <- neuralnet(y4 ~ y0 + y1 + y2 + y3, data=d2, hidden=10, act.fct="tanh" )
plot(d2$y4, compute(r, d2[,-5])$net.result)

Answer 2

Warning message: algorithm did not converge in 1 of 1 repetition(s) within the stepmax表示您的算法在收敛之前达到了有限的步数。如果您输入?neuralnet并查看stepmax的定义，则说明

训练神经网络的最大步骤。达到这个最大值会导致神经网络的训练过程停止。

对于您的问题，我建议您将stepmax值增加到1e7，看看会发生什么。

代码将是，

net.sinp <- neuralnet(nntr4 ~ nntr0 + nntr1 + nntr2 + nntr3, data=nntr, hidden=10, threshold=0.04, act.fct="tanh", linear.output=TRUE, stepmax=1e7)

对于时间序列，R neuralnet不会在stepmax内收敛

2 个答案: