我遇到了有关快速文本如何工作的理解问题。
我创建了一个分类器,用于对3个标签(我们将其称为食品,汽车和城市)之间的句子进行分类。
现在让我们想象一下我想预测一个句子的标签。如果我对“香蕉福特”进行预测,则概率为[('food',0.998047),('car',1.95313e-08),('city',1.95313e-08)],但如果我做出预测对于“福特香蕉”,概率变为[('car',0.998047),('food',1.95313e-08),('city',1.95313e-08)]。我必须补充说,福特和香蕉在各自的火车上。 Fasttext难道不应该给我两个时间每个标签大约50%的预测吗? Fasttext似乎几乎总是能预测出具有99.8047%概率的标签,并且很少会在两个或更多标签之间进行划分。
我似乎也有一个标签,每当预测句子(或它的ngams)不在训练集中或与数据集中的某个项目不接近时,总是返回相同的标签,例如汽车。您知道fasttext是否总体上偏爱标签吗?
如果你们对为什么会这样的想法有所了解,或者您建议我阅读一篇有关fasttext如何预测其标签的文章,我将不胜感激!
谢谢
亚瑟