Question

我想知道为什么我的TF-IDF的Pandas实现与sklearn实现的结果略有不同。

这是我的实现方式

text = ["aa bb cc dd ee", "bb cc dd dd"]

terms = [Counter(t.split(' ')) for t in text]
tf = pd.DataFrame(terms)
tf = tf.fillna(0)

num_docs = len(text)
idf = np.log(num_docs / tf[tf >= 1].count()) + 1 

tf_idf = tf * idf

norm = np.sqrt((tf_idf ** 2).sum(axis=1))
norm_tf_idf = tf_idf.div(norm, axis=0)

>>> norm_tf_idf
         aa        bb        cc        dd        ee
0  0.572929  0.338381  0.338381  0.338381  0.572929
1  0.000000  0.408248  0.408248  0.816497  0.000000

但是，如果我使用sklearn：

tf = TfidfVectorizer(smooth_idf=False, stop_words=None, sublinear_tf=True)
x = tf.fit_transform(text)

sk = pd.DataFrame(x.toarray())
sk.columns = tf.get_feature_names()
sk

>>> sk
         aa        bb        cc        dd        ee
0  0.572929  0.338381  0.338381  0.338381  0.572929
1  0.000000  0.453295  0.453295  0.767495  0.000000

或者如果我们减去它们：

>>> norm_tf_idf - sk
    aa        bb        cc        dd   ee
0  0.0  0.000000  0.000000  0.000000  0.0
1  0.0 -0.045046 -0.045046  0.049002  0.0

编辑：

我发现sklearn idf与我的idf并不完全相同，但是我们可以将其归因于我认为的浮点精度：

sklearn idf: [1.69314718 1.         1.         1.         1.69314718]
my idf:      [1.693147   1.000000   1.000000   1.000000   1.693147]

即使我使用sklearn idf，我仍然会得到不同的结果。

此外，如果我不规范化和使用sklearn idf值，则仅第二份文档的dd的TF-IDF不同：

sk_tfv = TfidfVectorizer(smooth_idf=False, stop_words=None, token_pattern=r"(?u)\b\w+\b", sublinear_tf=True, norm=None)
x = sk_tf.fit_transform(text)
sk_tf_idf = pd.DataFrame(x.toarray())
...
idf = sk_tfv.idf_
tf_idf = tf * idf


>>> tf_idf - sk_tf_idf
     aa  bb  cc       dd     ee
0   0.0 0.0 0.0 0.000000    0.0
1   0.0 0.0 0.0 0.306853    0.0

这意味着两件事：
1.问题是我的TF。但是，这很容易检查，似乎并非如此。或者，
2. sklearn不仅可以做TF * IDF，还可以做更多的事，这是我必须研究的。

Answer 1

我很傻。深入sklearn源代码后，我注意到了sublinear_tf参数。将此参数设置为True时，频率由log(TF) + 1代替，而恰好是我将此参数设置为True：）

要在熊猫中实现亚线性TF，应该可以：

tf[tf > 0]  = np.log(tf[tf > 0] ) + 1

TF-IDF的纯熊猫实现

1 个答案: