Question

使用dtm可以使用术语频率。

如何计算entropy是否可行或有什么简单方法？在某些文件中，它对条款的权重更高，而且频率更低。

entropy = 1 + (Σj pij log2(pij)/log2n

pij = tfij / Σj tfij

tfij是文档j中出现单词i的次数。

Answer 1

这是一个执行此操作的函数，尽管可以通过维护p_ij和日志计算中的稀疏性来改进（例如，这是dfm_tfidf()的编写方式）。请注意，我稍微改变了公式，因为（根据https://en.wikipedia.org/wiki/Latent_semantic_analysis#Mathematics_of_LSI等来源），总和前面应该有一个减号。

library("quanteda")
textstat_entropy <- function(x, base = exp(1), k = 1) {
    # this works because of R's recycling and column-major order, but requires t()
    p_ij <- t(t(x) / colSums(x))

    log_p_ij <- log(p_ij, base = base)
    k - colSums(p_ij * log_p_ij / log(ndoc(x), base = base), na.rm = TRUE)
}

textstat_entropy(data_dfm_lbgexample, base = 2)
#        A        B        C        D        E        F        G        H        I        J        K 
# 1.000000 1.000000 1.000000 1.000000 1.000000 1.045226 1.045825 1.117210 1.173655 1.277210 1.378934 
#        L        M        N        O        P        Q        R        S        T        U        V 
# 1.420161 1.428939 1.419813 1.423840 1.436201 1.440159 1.429964 1.417279 1.410566 1.401663 1.366412 
#        W        X        Y        Z       ZA       ZB       ZC       ZD       ZE       ZF       ZG 
# 1.302785 1.279927 1.277210 1.287621 1.280435 1.211205 1.143650 1.092113 1.045825 1.045226 1.000000 
#        ZH       ZI       ZJ       ZK 
# 1.000000 1.000000 1.000000 1.000000

这与 lsa 包中的权重函数匹配，当基数为 e 时：

library("lsa")
all.equal(
    gw_entropy(as.matrix(t(data_dfm_lbgexample))),
    textstat_entropy(data_dfm_lbgexample, base = exp(1))
)
# [1] TRUE

期限文件熵计算

1 个答案: