如何在LSTM模型中引起注意以生成文本？

Question

我正在创建用于文本生成的顺序模型，并希望引起注意。

model = Sequential()

model.add(Embedding(vocabulary_size, 5, input_length=seq_len))

model.add(Bidirectional(LSTM(hidden_size, return_sequences=True),input_shape=(seq_len, vocabulary_size)))

model.add(Bidirectional(LSTM(hidden_size)))

model.add(SeqSelfAttention(attention_activation='sigmoid'))

model.add(Dense(hidden_size, activation='relu'))

model.add(Dense(vocabulary_size, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

它使我的元组索引超出范围。