在计算两个单词的同时出现率时，我们是分开句子还是链接所有句子？

Question

例如，我得到包含2个句子的文档：我是一个人。他也喜欢苹果。 我们是否需要计算“人”和“他”的同时出现？

Answer 1

每个文档都用换行符分隔。同现的上下文窗口限于每个文档。

基于the implementation here。

  

以换行符表示新文档（上下文不会越过换行符）。

因此，根据您准备句子的方式，您可能会得到不同的结果：

设置1：('He', 'person')发生

...
I am a person. He also likes apples.
...

设置2：('He', 'person')未发生

...
I am a person. 
He also likes apples.
...