Question

我试图在R中实现功能散列以帮助我解决文本分类问题，但我不确定我是否应该按照应有的方式进行操作。我的部分代码基于以下帖子：Hashing function for mapping integers to a given range?。

我的代码：

random.data = function(n = 200, wlen = 40, ncol = 10){

  random.word = function(n){
    paste0(sample(c(letters, 0:9), n, TRUE), collapse = '')
  } 
  matrix(replicate(n, random.word(wlen)), ncol = ncol)   
}

feature_hash = function(doc, N){

  doc = as.matrix(doc)
  library(digest)

  idx = matrix(strtoi(substr(sapply(doc, digest), 28, 32), 16L) %% (N + 1), ncol = ncol(doc))
  sapply(1:N, function(r)apply(idx, 1, function(v)sum(v == r)))  
}

set.seed(1)
doc = random.data(50, 16, 5)
feature_hash(doc, 3)

       [,1] [,2] [,3]
 [1,]    2    0    1
 [2,]    2    1    1
 [3,]    2    0    1
 [4,]    0    2    1
 [5,]    1    1    1
 [6,]    1    0    1
 [7,]    1    2    0
 [8,]    2    0    0
 [9,]    3    1    0
[10,]    2    1    0

因此，我基本上使用digest返回的md5哈希的最后5个十六进制数字将字符串转换为整数。问题：

1 - 是否有任何包可以为我做这个？我还没找到。 2 - 使用digest作为哈希函数是一个好主意吗？如果没有，我该怎么办？

PS：我应该在发布之前测试它是否有效，但是我的文件非常大并且需要大量的处理时间，所以我认为有人指出我正确的方向更聪明，因为我＆＃ 39;我确定我做错了！

感谢您的帮助！

Answer 1

我不知道任何现有的CRAN包。

但是，我为自己写了一个包进行功能散列。源代码在这里：https://github.com/wush978/FeatureHashing，但API不同。

就我而言，我使用它将data.frame转换为CSRMatrix，这是包中的自定义稀疏矩阵。我还实现了一个帮助函数来将CSRMatrix转换为Matrix::dgCMatrix。对于文本分类，我猜稀疏矩阵会更合适。

如果您想尝试一下，请在此处查看测试脚本：https://github.com/wush978/FeatureHashing/blob/master/tests/test-conver-to-dgCMatrix.R

请注意，我只在Ubuntu中使用它，因此我不知道它是否适用于Windows或Mac。请随时在https://github.com/wush978/FeatureHashing/issues上向我询问有关该套餐的任何问题。

R中的特征散列用于文本分类

1 个答案: