如何使用单词向量进行测量

时间:2019-06-15 15:43:46

标签: machine-learning deep-learning word2vec

我试图了解如何使用词嵌入来衡量偏见。阅读文章https://towardsdatascience.com/gender-bias-word-embeddings-76d9806a0e17

enter image description here

以上陈述中指出的偏见是什么?是否存在这样的偏见,即当男人参与其中时,女人不能被视为医生?

对于被识别的男人或女人来说,中性偏见是否表示女人,医生男人,医生之间的微小差异,表示一个向量:$ woman + doctor \ approx man + doctor $?

1 个答案:

答案 0 :(得分:0)

您会期望

woman + doctor = man + doctor

或重写:

woman + doctor - man = doctor

但是,因为在该词的嵌入空间中这是“护士”,所以这表明人们倾向于偏爱医疗保健领域的女性担任护士。 医生在训练嵌入的语料库中与男性的联系更多,因此可以得出结论,语料库(和学习的词嵌入)具有性别偏见。