Question

我一直在使用Ruby Classifier library到classify privacy policies。我得出结论，这个库中内置的简单的词袋方法是不够的。为了提高我的分类准确度，除了单个单词之外，我还想在n-gram上训练分类器。

我想知道是否有一个库用于预处理文档以获得相关的n-gram（并正确处理标点符号）。一个想法是我可以预处理文档并将伪ngram输入Ruby分类器，如：

wordone_wordtwo_wordthree

或许还有更好的方法可以做到这一点，例如一个从getgo内置了基于ngram的Naive Bayes Classification的库。如果他们完成工作，我愿意在这里使用除Ruby以外的语言（如果需要，Python似乎是一个很好的候选者）。

Answer 1

如果你对python没问题，我会说nltk对你来说是完美的。

例如：

>>> import nltk
>>> s = "This is some sample data.  Nltk will use the words in this string to make ngrams.  I hope that this is useful.".split()
>>> model = nltk.NgramModel(2, s)
>>> model._ngrams
set([('to', 'make'), ('sample', 'data.'), ('the', 'words'), ('will', 'use'), ('some', 'sample'), ('', 'This'), ('use', 'the'), ('make', 'ngrams.'), ('ngrams.', 'I'), ('hope', 'that'
), ('is', 'some'), ('is', 'useful.'), ('I', 'hope'), ('this', 'string'), ('Nltk', 'will'), ('words', 'in'), ('this', 'is'), ('data.', 'Nltk'), ('that', 'this'), ('string', 'to'), ('
in', 'this'), ('This', 'is')])

你甚至有一个方法nltk.NaiveBayesClassifier

Answer 2

>> s = "She sells sea shells by the sea shore"
=> "She sells sea shells by the sea shore"
>> s.split(/ /).each_cons(2).to_a.map {|x,y| x + ' ' +  y}
=> ["She sells", "sells sea", "sea shells", "shells by", "by the", "the sea", "sea shore"]

Ruby enumerables有一个名为enum_cons的方法，它将从枚举中返回n个连续项中的每一个。使用该方法生成ngrams是一个简单的单行。

在ngrams上训练朴素贝叶斯分类器

2 个答案: