Question

我有以下文件

1             NAME LASTNAME DOB CITY
2                     NAME ADDRESS CITY
3            NAME LASTNAME ADDRESS CITY
4    NAME LASTNAME ADDRESS CITY PINCODE
5                  NAME ADDRESS PINCODE

和TfidfVectorizer给出了以下值

    address      city      dob  employername  lastname  mobile      name  \
0  0.000000  0.306476  0.68835           0.0  0.553393     0.0  0.354969   
1  0.573214  0.535492  0.00000           0.0  0.000000     0.0  0.620221   
2  0.412083  0.384964  0.00000           0.0  0.695116     0.0  0.445875   
3  0.357479  0.333954  0.00000           0.0  0.603009     0.0  0.386795   
4  0.493437  0.000000  0.00000           0.0  0.000000     0.0  0.533901   

   phone   pincode  
0    0.0  0.000000  
1    0.0  0.000000  
2    0.0  0.000000  
3    0.0  0.497447  
4    0.0  0.686637

从上面，文件1和1都是3有'名字'一词，也没有。这两个文件中的术语相同，因此在两种情况下，tf（name）应该相同。 idf也一样。但为什么'name'功能在两个文档中都有不同的tfidf值？

请帮助我理解这一点。

我实际上有很多文件，并对所有这些文件应用了tfidf，上面给出了前5条数据记录。

Answer 1

这是因为norm='l2'是默认设置。这意味着L2正规化矩阵，使所有值都在0和1之间。

您可以使用norm=None将其关闭，您将获得与Tfidf相同的值 -

doc = ["NAME LASTNAME DOB CITY", "NAME ADDRESS CITY", 
       "NAME LASTNAME ADDRESS CITY", 
       "NAME LASTNAME ADDRESS CITY PINCODE", "NAME ADDRESS PINCODE"]

from sklearn.feature_extraction.text import TfidfVectorizer

vec = TfidfVectorizer(norm=None)
tf_idf = vec.fit_transform(doc)

print(vec.get_feature_names())
print(tf_idf.todense())

输出

['address', 'city', 'dob', 'lastname', 'name', 'pincode']
[[ 0.          1.18232156  2.09861229  1.40546511  1.          0.        ]
 [ 1.18232156  1.18232156  0.          0.          1.          0.        ]
 [ 1.18232156  1.18232156  0.          1.40546511  1.          0.        ]
 [ 1.18232156  1.18232156  0.          1.40546511  1.          1.69314718]
 [ 1.18232156  0.          0.          0.          1.          1.69314718]]

P.S：标准化特征矩阵总是更好

<强>更新对于L2 Norm，每个数字除以行的平方和的平方根。示例 - 对于第1行：第4列，1.40546511将除以第1行的平方和的平方根。以下是显示此内容的代码 -

import math
first_doc = tf_idf.todense()[0].tolist()[0]
l2 = math.sqrt(sum([i*i for i in first_doc]))
print(l2)
print([i/l2 for i in first_doc])

输出

2.9626660243635254
[0.0, 0.39907351927997176, 0.7083526362438907, 0.4743920160255332, 0.3375338265523302, 0.0]

在这种情况下，我只是手动计算TfidfVectorizer对norm='l2'所做的事情。注意所有值都在0和1之间。这是规范化数据的技术之一。规范化有助于算法更快地收敛并具有更高的准确性。我希望这可以解决它。

tfidf矢量化器给出错误的结果

1 个答案: