使用语言模型获得句子的概率

时间:2020-09-12 08:21:22

标签: python tensorflow deep-learning nlp language-model

我已经使用以下架构训练了语言模型,

model = tf.keras.Sequential([

tf.keras.layers.Embedding(total_words, 300, weights=[embeddings_matrix], input_length=inputs.shape[1], trainable=False),

tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(150)),

tf.keras.layers.Dense(total_words, activation = 'softmax')

])

请注意,我为此目的使用了预先训练的单词嵌入层。

我现在想做的是,给出一个全新的句子,根据这种语言模型生成该序列的概率。

这与预测序列中的下一个单词无关,而与产生提供的整个句子的概率有关。

如何在TensorFlow 2中做到这一点? 我曾在TensorFlow 1上看到过类似的问题,但与新版本无关。

0 个答案:

没有答案