解析器（POS，TAG，相关性）在机器翻译中的作用是什么？

Question

我想知道解析句子的主要目的是什么，例如我们在训练机器翻译中获得了句子的所有POS标签？我以为我们只需要标记该句子，然后将其输入神经网络进行训练？拥有POS标签的目的是什么？如何在训练机器翻译模型的代码中实现它？

我似乎找不到任何示例。请协助

Answer 1

如果通过拆分句子只有一个标记化的单词，则只能按单词获取字典。

例如，您有两个句子：[我爱咖啡]，[我喜欢牛奶]。

字典可能是[I]，[love]，[coffee]，[like]，[milk]，被称为单词袋，由5维组成。

想象一下，您只在词典中按单词袋来指定语言。 您的语言需要多少维度？

尺寸太大。

在这种情况下，如果您使用POS标签制作语言模型，则可以减少尺寸。

pic 1.您需要9个维度来表示9个单词。

pic2。您只需要[3,2]维即可表示9个单词。