学习正弦函数似乎在ANN(Keras)中占用过多参数

时间:2019-02-19 12:49:11

标签: python keras deep-learning

我一直在尝试对不同的函数逼近方法进行一些研究,而我尝试的第一个方法是使用ANN(人工神经网络)。代码如下-

import tensorflow as tf
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
from tensorflow.keras.layers import Input, Dense, Flatten, Dropout
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.models import Model
from sklearn.preprocessing import MinMaxScaler

X = np.linspace(0.0 , 2.0 * np.pi, 20000).reshape(-1, 1)
Y = np.sin(X)

x_scaler = MinMaxScaler()
y_scaler = MinMaxScaler()

X = x_scaler.fit_transform(X)
Y = y_scaler.fit_transform(Y)

plt.plot(X, Y)
plt.show()


inp = Input(shape=(20000, 1))

x = Dense(32, activation='relu')(inp)
x = Dense(64, activation='relu')(x)
x = Dense(128, activation='relu')(x)
x = Dense(256, activation='relu')(x)
predictions = Dense(1, activation='linear')(x)

model = Model(inp, predictions)

model.compile(loss='mse', optimizer='adam')
model.summary()

X = X.reshape((-1, 20000, 1))
Y = Y.reshape((-1, 20000, 1))

history = model.fit(X, Y, epochs=500, batch_size=32, verbose=2)

X_test = np.linspace(0.0 , 2.0 * np.pi, 20000).reshape(-1, 1)
X_test.shape
X_test = x_scaler.transform(X_test)
X_test = X_test.reshape((-1, 20000, 1))
res = model.predict(X_test, batch_size=32)

res = res.reshape((20000, 1))
res_rscl = y_scaler.inverse_transform(res)

Y_rscl = y_scaler.inverse_transform(Y.reshape(20000, 1))

plt.subplot(211)
plt.plot(res_rscl, label='ann')
plt.plot(Y_rscl, label='train')
plt.xlabel('#')
plt.ylabel('value [arb.]')
plt.legend()
plt.subplot(212)
plt.plot(Y_rscl - res_rscl, label='diff')
plt.legend()
plt.show()

情节如下-

Training Graphs

正如我们所看到的,在这种架构下,它确实非常接近正弦曲线。但是,我不确定自己是否做对了。我需要43,777参数来拟合正弦曲线,这对我来说似乎很奇怪。也许我错了。但是,看着this R code(我一点也不知道R,但是我猜它的ANN比我拥有的要小得多)使我想知道更多。

我的问题-我的方法正确吗?我应该更改一些东西以减少参数数量吗?还是正弦函数是一个困难的函数,对于ANN来说,它需要大量参数来逼近它,这是正常的吗?

这可能是一个开放性问题,但是我真的很感谢您可以为我指出的任何方向以及我为您提供的任何错误。

注意-This question建议,数据的循环特性对于ANN来说是一件困难的事情。我还想知道是否确实如此,这是否就是ANN需要这么多参数的原因。

0 个答案:

没有答案