Question

我正在使用朴素贝叶斯多项式模型。我应该使用火车方法中看到的伪代码。所以这些是我的问题：

1）我已经把大部分代码放在了但是我有一些问题主要是在提取词汇表，计算类中的文档数量，以及连接类中所有文档的文本。

2）我还注意到我需要的火车方法只需要文件（又名train_doc）。所以我不知道如何调整以获得C类。

def train(self, documents):
    # TRAINMULTINOMIALNB(C,D)
    # 1 V <-- EXTRACTVOCABULARY(D)
    # 2 N <-- COUNTDOCS(D)
    # 3 for each c in C
        # 4 do Nc <-- COUNTDOCSINCLASS(D, c)
            # 5 prior[c] <-- Nc/N
            # 6 textc <-- CONCATENATETEXTOFALLDOCSINCLASS(D, c)
            # 7 for each t in V
            # 8 do Tct <-- COUNTTOKENSOFTERM(textc, t)
            # 9 for each t in V
            # 10 do condprob[t][c] <-- Tct+1
    # 11 return V, prior, condprob
    """
    prior={}
    N = len(documents)

    #Vocab
    V = Counter()
    for d in documents:
        V.update(doc[***])

    #COUNTDOCSINCLASS(C,D)
    cdic = Counter(C)
    for d2 in documents:
    for label in C:
            cdic.update({label:int(math.ceil(float(doc[***])))})

    #CONCATENATETEXTOFALLDOCSINCLASS(documents,C)
    ctoadic = defaultdict(Counter)
    for d3 in document:
        for label2 in C:
            if(float(***)>0):
                ctoadic[label].update(doc[***]) 

    #used to get term by class it is in
    tii = defaultdict(Counter)
    for label,word in ctoadic.iteritems():
        for w in word:
            tii[w].update({l:word[w]})

    #getCondProb(tii,ctofadic,C)
    gcp = defaultdict(lambda: defaultdict(float))
    tnw ={} #total number of words in that label
    for l,v inctofadic.iteritems():
        tnwl[l] = sum(v.values())
    for w,count in tii.iteritems():

    #for 0 occurences
    z = [zeroo for zeroo in C if zeroo not in count.keys()]
    for ling in z:
        gcp[w[ling]=1.0/(len(ctofadic[ling])+tnw[ling])
    for ling,val in count.iteritems():
        gcp[w][ling]=float(val+1)/(len(ctofadic[ling])+tnw[ling])

    #Prior    
    for c in C:
        prior[c] = cdic[c] / float(N)
    return V,prior,gcp

Answer 1

问题1

对于将数据发送到分类器时的词汇量，还会在一些常用标签下发送您遇到的所有单词。例如，如果你有这样的模型：

l = label1，W = word1 count

l = label1，W = word2 count

l = label2，W = word3 count

l = label3，W = word1 count

等等还添加如下内容： -

Vocab,word1 count

Vocab,word2 count

Vocab,word3 count

这里，words1，word2，word3是训练doc中遇到的所有单词，但却是唯一的。将它们存储在hashmap中并刷新。

然后在分类器中遇到＆＃34; Vocab＆＃34;增加1.总数将是词汇。

对每个文档执行相同操作时，只要遇到新文档，就会保留不同的计数器并递增。

问题2

你是考虑所有课程还是少数？

朴素贝叶斯多项式

1 个答案: