Question

我正在尝试使用tm包进行一些非常基本的文本分析并获得一些tf-idf分数;我正在运行OS X（虽然我在Debian Squeeze上试过这个但结果相同）;我有一个目录（这是我的工作目录）里面有几个文本文件（第一个包含 Ulysses 的前三集，第二个包含后三个剧集，如果你必须知道的话）。

R版本：2.15.1 SessionInfo（）报告这个关于tm：[1] tm_0.5-8.3

相关的代码：

library('tm')
corpus <- Corpus(DirSource('.'))
dtm <- DocumentTermMatrix(corpus,control=list(weight=weightTfIdf))

str(dtm)
List of 6
 $ i       : int [1:12456] 1 1 1 1 1 1 1 1 1 1 ...
 $ j       : int [1:12456] 2 10 12 17 20 24 29 30 32 34 ...
 $ v       : num [1:12456] 1 1 1 1 1 1 1 1 1 1 ...
 $ nrow    : int 2
 $ ncol    : int 10646
 $ dimnames:List of 2
  ..$ Docs : chr [1:2] "bloom.txt" "telemachiad.txt"
  ..$ Terms: chr [1:10646] "_--c'est" "_--et" "_--for" "_--goodbye," ...
 - attr(*, "class")= chr [1:2] "DocumentTermMatrix" "simple_triplet_matrix"
 - attr(*, "Weighting")= chr [1:2] "term frequency" "tf"

你会注意到，加权似乎仍然是默认的术语频率（tf），而不是我想要的加权tf-idf分数。

道歉，如果我遗漏了一些明显的东西，但根据我读过的文档，这个应该工作。毫无疑问，这个错误不在于星星......

Answer 1

如果查看DocumentTermMatrix帮助页面，在示例中，您将看到以这种方式指定control参数：

data(crude)
dtm <- DocumentTermMatrix(crude,
           control = list(weighting = function(x) weightTfIdf(x, normalize = FALSE),
                          stopwords = TRUE))

因此，使用名为weighting的列表元素指定加权，而不是weight。您可以通过传递函数名称或自定义函数来指定此权重，如示例中所示。但以下也有效：

data(crude)
dtm <- DocumentTermMatrix(crude, control = list(weighting = weightTfIdf))

试图让Rf中的tf-idf加权工作

1 个答案: