在keras中使用seq2seq方法的语言翻译模型

Question

我正在尝试使用seq2seq单词级翻译模型，使用this进行英语到西班牙语的翻译

我使用的数据集包含10000个英语和西班牙语句子，中间用制表符分隔。

这是我正在使用的我的keras语言翻译模型代码

from keras.layers import Input, LSTM, Embedding, Dense
from keras.models import Model
from keras.utils import plot_model
import keras
from keras import optimizers

encoder_inputs = Input(shape=(None, num_encoder_tokens))
encoder = LSTM(50, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
# We discard `encoder_outputs` and only keep the states.
encoder_states = [state_h, state_c]

# Set up the decoder, using `encoder_states` as initial state.
decoder_inputs = Input(shape=(None,num_decoder_tokens))
decoder_lstm = LSTM(50, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs,
                                     initial_state=encoder_states)
decoder_dense = Dense(num_decoder_tokens, activation='softmax')
decoder_outputs = decoder_dense(decoder_outputs)

model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
sgd = optimizers.SGD(lr=0.4, decay=0.99)
model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics=['acc'])

mc = keras.callbacks.ModelCheckpoint('weights{epoch:08d}.h5', 
                                     save_weights_only=True, period=10)

model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
          batch_size=64, shuffle=True,
          epochs=5000,initial_epoch = 894,
          validation_split=0.2, verbose = 1,  callbacks=[mc])

我的代码最多可以运行900个纪元，但每个纪元都得到相同的准确性和损失。

任何帮助将不胜感激。

谢谢