术语频率(TF)和逆文档频率(IDF)如何受到停用词删除和词干的影响?
谢谢!
答案 0 :(得分:15)
tf 是术语频率 idf 是逆文档频率,它是通过将文档总数除以包含该项的文档数得到的,然后取该商的对数。
阻止效果是对从同一个词干派生的所有单词进行分组(例如:播放,播放,...),这种分组会增加此词干的出现次数,因为频率是使用词干来计算的话, 例如,如果您有2个文档: 第一个包含'游戏'2次和'玩'5次, 第二个文件包含'播放'3次和'播放'1次 如果你搜索'play'而没有阻止第二个文件将是第一个,因为它更多地出现'play'这个词,而如果你做了词干,这两个词将在词干后'播放'并且第一个文件将是首先它包含词干播放7次,第二个文件包含词干播放4次。
关于停用词删除,它经常在所有文档中找到,并且不被视为其中任何一个的关键词,它将具有高频率而没有任何场景。