如何使用张量流模拟n-gram模型？

Question

如何使用可预测/计算单词频率的张量流创建N元语法模型？

让模型返回一个与单词出现频率相对应的值。

frequency = model("word")

print("Frequency of a word: ",frequency)

>>> Frequency of a word: 0.567

Answer 1

您可以使用Tensorflow Transofrm。 tf.Transform是用于使用TensorFlow预处理数据的官方库。例如，使用tf.Transform.ngrams，您可以创建一个{-{1}}个n-gram。

请注意，该库仅生成ngram，而不会生成频率。

确保安装tensorflow转换：

SparseTensor