Question

我正在尝试使用优秀的教程here和here开始使用word2vec和doc2vec并尝试使用代码示例。我只使用line_clean()方法添加了标点符号，停用词等。

但是我在训练迭代中调用的line_clean()方法遇到了问题。我理解对全局方法的调用搞砸了，但我不知道如何解决这个问题。

Iteration 1
Traceback (most recent call last):
  File "/Users/santino/Dev/doc2vec_exp/doc2vec_exp_app/doc2vec/untitled.py", line 96, in <module>
    train()
  File "/Users/santino/Dev/doc2vec_exp/doc2vec_exp_app/doc2vec/untitled.py", line 91, in train
    model.train(sentences.sentences_perm(),total_examples=model.corpus_count,epochs=model.iter)
  File "/Users/santino/Dev/doc2vec_exp/doc2vec_exp_app/doc2vec/untitled.py", line 61, in sentences_perm
    shuffled = list(self.sentences)
AttributeError: 'TaggedLineSentence' object has no attribute 'sentences'

我的代码如下：

import gensim
from gensim import utils
from gensim.models.doc2vec import TaggedDocument
from gensim.models import Doc2Vec
import os
import random
import numpy
from sklearn.linear_model import LogisticRegression
import logging
import sys
from nltk import RegexpTokenizer
from nltk.corpus import stopwords

tokenizer = RegexpTokenizer(r'\w+')
stopword_set = set(stopwords.words('english'))


def clean_line(line):
    new_str = unicode(line, errors='replace').lower() #encoding issues
    dlist = tokenizer.tokenize(new_str)
    dlist = list(set(dlist).difference(stopword_set))
    new_line = ' '.join(dlist)
    return new_line


class TaggedLineSentence(object):
    def __init__(self, sources):
        self.sources = sources

        flipped = {}

        # make sure that keys are unique
        for key, value in sources.items():
            if value not in flipped:
                flipped[value] = [key]
            else:
                raise Exception('Non-unique prefix encountered')

    def __iter__(self):
        for source, prefix in self.sources.items():
            with utils.smart_open(source) as fin:
                for item_no, line in enumerate(fin):
                    yield TaggedDocument(utils.to_unicode(clean_line(line)).split(), [prefix + '_%s' % item_no])

    def to_array(self):
        self.sentences = []
        for source, prefix in self.sources.items():
            with utils.smart_open(source) as fin:
                for item_no, line in enumerate(fin):
                    self.sentences.append(TaggedDocument(utils.to_unicode(clean_line(line)).split(), [prefix + '_%s' % item_no]))
        return(self.sentences)

    def sentences_perm(self):
        shuffled = list(self.sentences)
        random.shuffle(shuffled)
        return(shuffled)


def train():
    #create a list data that stores the content of all text files in order of their names in docLabels
    doc_files = [f for f in os.listdir('./data/') if f.endswith('.csv')]

    sources = {}
    for doc in doc_files:
        doc2 = os.path.join('./data',doc)
        sources[doc2] = doc.replace('.csv','')

    sentences = TaggedLineSentence(sources)


    # #iterator returned over all documents
    model = gensim.models.Doc2Vec(size=300, min_count=2, alpha=0.025, min_alpha=0.025)
    model.build_vocab(sentences)

    #training of model
    for epoch in range(10):
        #random.shuffle(sentences)
        print 'iteration '+str(epoch+1)
        #model.train(it)
        model.alpha -= 0.002
        model.min_alpha = model.alpha
        model.train(sentences.sentences_perm(),total_examples=model.corpus_count,epochs=model.iter)
    #saving the created model
    model.save('reddit.doc2vec')
    print "model saved" 

train()

Answer 1

对于最新版本的gensim，这些并不是很好的教程。特别是，使用您自己的train() / alpha手动管理在循环中多次调用min_alpha是一个坏主意。这很容易搞砸 - 例如，代码中会出现错误的事情 - 并且对大多数用户没有任何好处。不要将min_alpha更改为默认设置，并且只需调用train()一次 - 然后完成epochs次迭代，将学习率alpha从最大值减去最小值正确。

您的具体错误是因为您的TaggedLineSentence类没有sentences属性 - 至少在调用to_array()之后才会出现 - 但代码却试图访问该属性 - 存在的财产。

整个to_array() / sentences_perm()方法有点破碎。使用这种可迭代类的原因通常是将大型数据集保留在主存储器之外，从磁盘传输它。但是to_array()然后只加载所有内容，将缓存在类中 - 消除了可迭代的好处。如果你负担得起，因为完整的数据集很容易适应内存，你可以做...

sentences = list(TaggedLineSentence(sources)

...从磁盘迭代一次，然后将语料库保留在内存列表中。

通常不需要在训练期间反复洗牌。只有当训练数据有一些现有的聚集时 - 就像所有具有某些单词/主题的例子在排序的顶部或底部粘在一起 - 是本机排序可能导致训练问题。在这种情况下，在任何训练之前，单次洗牌应该足以消除结块。因此，再次假设您的数据适合内存，您可以做...

sentences = random.shuffle(list(TaggedLineSentence(sources)

...一次，那么你有一个sentences，可以在下面的Doc2Vec和build_vocab()（一次）中传递给train()。

doc2vec / gensim - 在时代中使用混淆句子的问题

1 个答案: