我已经使用以下架构训练了语言模型,
model = tf.keras.Sequential([
tf.keras.layers.Embedding(total_words, 300, weights=[embeddings_matrix], input_length=inputs.shape[1], trainable=False),
tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(150)),
tf.keras.layers.Dense(total_words, activation = 'softmax')
])
请注意,我为此目的使用了预先训练的单词嵌入层。
我现在想做的是,给出一个全新的句子,根据这种语言模型生成该序列的概率。
这与预测序列中的下一个单词无关,而与产生提供的整个句子的概率有关。
如何在TensorFlow 2中做到这一点? 我曾在TensorFlow 1上看到过类似的问题,但与新版本无关。