Question

HI我正在寻找一个库，它将从Javascript中的文本中删除停用词，我的最终目标是计算tf-idf然后将给定文档转换为向量空间，所有这些都是{ {1}}。任何人都可以指向一个图书馆，它会帮助我做到这一点。只有一个图书馆来删除停用词也很棒。

Answer 1

我认为没有这样的思考库，你需要下载这些词http://www.ranks.nl/resources/stopwords.html。然后按照text = text.replace（stopword，“”）

中的注释进行替换

Answer 2

这里有一个用于删除停用词的Javascript库：http://geeklad.com/remove-stop-words-in-javascript

Answer 3

这是一个带有英语停用词的数组。希望能帮助到你。来自http://www.ranks.nl/stopwords（在之前的回答中提到）。

此外，这可能对您有用。

https://github.com/shiffman/A2Z-F16/tree/gh-pages/week5-analysis

http://shiffman.net/a2z/text-analysis/

var stopwords = [＆＃34; a＆＃34;，＆＃34;关于＆＃34;，＆＃34;以上＆＃34;，＆＃34;＆＃34;，＆＃34;再次＆＃34 ;，＆＃34;反对＆＃34;，＆＃34;所有＆＃34;，＆＃34; am＆＃34;，＆＃34;＆＃34;，＆＃34;＆＃34;，＆＃34 ;任何＆＃34;＆＃34;是＆＃34;＆＃34; AREN＆＃39; T＆＃34;＆＃34;如＆＃34;＆＃34;在＆＃34;＆＃34;是＆＃34;＆＃34;因为＆＃34;＆＃34;是＆＃34;＆＃34;前＆＃34;＆＃34;是＆＃34;＆＃34;下面＆＃34 ;, ＆＃34;之间＆＃34;＆＃34;既＆＃34;＆＃34;但＆＃34;＆＃34;由＆＃34;＆＃34;可以＆＃39; T＆＃34;，＆＃34;不能＆＃34;＆＃34;可以＆＃34;＆＃34; couldn＆＃39; T＆＃34;＆＃34;做＆＃34;＆＃34;没＆＃39; T＆＃34 ;，＆＃34;做＆＃34;＆＃34;不＆＃34;＆＃34;没有按＆＃39; T＆＃34;＆＃34;这样做＆＃34;＆＃34;不要＆＃39; T＆＃34;＆＃34;向下＆＃34;＆＃34;在＆＃34;＆＃34;每个＆＃34;＆＃34;几个＆＃34;＆＃34;对于＆＃34 ;, ＆＃34;从＆＃34;＆＃34;进一步＆＃34;＆＃34;具有＆＃34;＆＃34; hadn＆＃39; T＆＃34;＆＃34;具有＆＃34;，＆＃34;不是招＆＃39; T＆＃34;＆＃34;具有＆＃34;＆＃34;避难所＆＃39; T＆＃34;＆＃34;具有＆＃34;＆＃34;他＆＃34 ;，＆＃34;他＆＃39; d＆＃34;＆＃34;他＆＃39; 11＆＃34;＆＃34;他＆＃39; S＆＃34;＆＃34;她＆＃34 ;, ＆＃34;在这里＆＃34;＆＃34;在这里＆＃39; S＆＃34;＆＃34;她的＆＃34;＆＃34;自己＆＃34;＆＃34;他＆＃34;＆＃34;自己＆＃34;＆＃34;他的＆＃34;＆＃34;如何＆＃34;＆＃34;如何＆＃39; S＆＃34;＆＃34;我＆＃ 34;，＆＃34; I＆＃39; d＆＃34;＆＃34; I＆＃39; 11＆＃34;＆＃34; I＆＃39; M＆＃34;＆＃34; I＆＃39;已经＆＃34;＆＃34;如果＆＃34;＆＃34;在＆＃34;＆＃34;到＆＃34;＆＃34;是＆＃34;＆＃34; ISN＆＃39; T＆＃34;＆＃34;它＆＃34;＆＃34;它＆＃39; S＆＃34;＆＃34;它的＆＃34;＆＃34;本身＆＃34;＆＃34;让＆＃ 39; S＆＃34;＆＃34;我＆＃34;＆＃34;更＆＃34;＆＃34;最＆＃34;＆＃34;千万不能＆＃39; T＆＃34;＆＃34的＆＃34;我＆＃34;＆＃34;自己＆＃34;＆＃34;不＆＃34;＆＃34;也不＆＃34;＆＃34;不＆＃34;＆＃34; ＆＃34;关闭＆＃34;＆＃34;上＆＃34;＆＃34;一次＆＃34;＆＃34;仅＆＃34;＆＃34;或＆＃34;＆＃34;其他＆＃34;＆＃34;应该＆＃34;＆＃34;我们＆＃34;＆＃34;我们＆＃34;＆＃34;自己＆＃34;＆＃34;列＆＃34 ;, ＆＃34;在＆＃34;＆＃34;自己＆＃34;＆＃34;相同的＆＃34;＆＃34;山＆＃39; T＆＃34;＆＃34;她＆＃34;，＆＃34;她＆＃39; d＆＃34;＆＃34;她＆＃39; 11＆＃34;＆＃34;她＆＃39; S＆＃34;＆＃34;应该＆＃34;＆＃34 ;不该＆＃39; T＆＃34;＆＃34;所以＆＃34;＆＃34;一些＆＃34;＆＃34;这样的＆＃34;＆＃34;比＆＃34;＆＃34;该＆＃34;＆＃34;即＆＃39; S＆＃34;＆＃34;所述＆＃34;＆＃34;它们的＆＃34;＆＃34;他们＆＃34;＆＃34;其中＆＃34;＆＃34;自己＆＃34;＆＃34;然后＆＃34; ＆＃34;还有＆＃34;＆＃34;还有＆＃39; S＆＃34;＆＃34;这些＆＃34;＆＃34;它们＆＃34;＆＃34;它们＆＃39; d＆＃34;＆＃34;它们＆＃39; 11＆＃34;＆＃34;它们＆＃39;再＆＃34;＆＃34;它们＆＃39;已经＆＃34;＆＃34;这＆＃34 ;，＆＃34;那些＆＃34;＆＃34;通过＆＃34;＆＃34;至＆＃34;＆＃34;太＆＃34;＆＃34;下＆＃34;＆＃34 ;直到＆＃34;＆＃34;向上＆＃34;＆＃34;非常＆＃34;＆＃34;是＆＃34;＆＃34; WASN＆＃39; T＆＃34;＆＃34;我们＆＃34;＆＃34;我们＆＃39; d＆＃34;＆＃34;我们＆＃39; 11＆＃34;＆＃34;我们＆＃39;再＆＃34;＆＃34;我们＆＃ 39;已经＆＃34;＆＃34;分别为＆＃34;＆＃34;间没有＆＃39; T＆＃34;＆＃34;什么＆＃34;＆＃34;什么＆＃39; S＆＃34; ＆＃34;当＆＃34;＆＃34;当＆＃39; S＆＃34;＆＃34;其中＆＃34;＆＃34;其中＆＃39; S＆＃34;＆＃34;其中＆＃34;＆＃34;而＆＃34;＆＃34;谁＆＃34;＆＃34;谁＆＃39; S＆＃34;＆＃34;人＆＃34;＆＃34;为何＆＃ 34;，＆＃34;为什么＆＃39; S＆＃34;＆＃34;与＆＃34;＆＃34;韩元＆＃39; T＆＃34;＆＃34;将＆＃34;＆＃34 ;不会告发＆＃39; T＆＃34;＆＃34;你＆＃34;＆＃34;你＆＃39; d＆＃34;＆＃34;你＆＃39; 11＆＃34;＆＃34;你＆＃39;重＆＃34;＆＃34;你＆＃39;已经＆＃34;＆＃34;的＆＃34;＆＃34;你＆＃34;＆＃34;自己＆＃34;＆＃ 34;自己＆＃34;];

Answer 4

使用NLTK library提供的停用词：

stopwords = ['i','me','my','myself','we','our','ours','ourselves','you','your','yours','yourself','yourselves','he','him','his','himself','she','her','hers','herself','it','its','itself','they','them','their','theirs','themselves','what','which','who','whom','this','that','these','those','am','is','are','was','were','be','been','being','have','has','had','having','do','does','did','doing','a','an','the','and','but','if','or','because','as','until','while','of','at','by','for','with','about','against','between','into','through','during','before','after','above','below','to','from','up','down','in','out','on','off','over','under','again','further','then','once','here','there','when','where','why','how','all','any','both','each','few','more','most','other','some','such','no','nor','not','only','own','same','so','than','too','very','s','t','can','will','just','don','should','now']

然后只需将您的字符串传递给以下函数：

function remove_stopwords(str) {
    res = []
    words = str.split(' ')
    for(i=0;i<words.length;i++) {
        if(!stopwords.includes(words[i])) {
            res.push(words[i])
        }
    }
    return(res.join(' '))
  }

示例：

remove_stopwords("I will go to the place where there are things for me.")

结果：

I go place things me.

只需将尚未覆盖的任何单词添加到NLTK数组中即可。

在Javascript中停止删除单词

4 个答案: