CBOW方法可以使用多个目标词吗？

Question

假设我们有两个针对相同上下文的目标词：

1. he is a VERY GOOD BOY.
2. This is a VERY GOOD HAND-WRITING.

VERY AND GOOD是上下文，而BOY和HAND-WRITING是两个目标。

有人可以解释如何做吗？

Answer 1

这是一个极端的情况，不应在正常语料库中发生。

在CBOW模型中，权重的初始化和训练过程确定最终结果，而训练过程则取决于目标的上下文。

假设BOY和HAND-WRITING使用相同的初始权重，并且它们在3-gram中的上下文完全相等，则可以将它们视为同一目标。

如果它们的初始权重不同，则在训练后您将获得两个相似的词表示形式，即它们是同义词。这就是CBOW想要的：具有相似上下文的单词将具有相似的语义。