Question

所以我相信尽管这是许多类似问题的常见问题（特别是在stackoverflow上），但每个案例背后的主要原因各不相同

在我的情况下，我有一个名为readCorpus的方法（在下面找到代码），它会读取包含21个文件的列表，从每个文件中提取文档然后生成它们

在读取每个文件结束时发生屈服操作

我有另一个名为uploadCorpus的方法（在下面找到代码）。这种方法的主要目的是上传该语料库。

显然，使用yield的主要原因是语料库可能非常大，我只需要阅读一次。

运行方法uploadCorpus后，我收到以下错误

TypeError: coercing to Unicode: need string or buffer, list found

错误发生在self.readCorpus()])行。

阅读类似的问题我才明白，当列表放错地方时会发生这种情况。我试图将问题的答案提升到docs for docs in self.readCorpus()])，但我以同样的问题结束了

我的代码（uploadCorpus）

def uploadCorpus(self):
        #convert docs to corpus
        print "uploading"

        utils.upload_chunked(
            self.service,
            [{'id': 'doc_%i' % num, 'tokens': utils.simple_preprocess(doc)}
            for num, doc in enumerate([ 
                self.readCorpus()])
                ],
            chunksize=1000) # send 1k docs at a time

我的代码readCorpus（）

def readCorpus(self):
    path = '../data/reuters'
    doc=''
    docs = []
    docStart=False

    fileCount=0

    print 'Reading Corpus'
    for name in glob.glob(os.path.join(path, '*.sgm')):
        print 'Reading File| ' + name
        docCount=0
        for line in open(name):
            if(len(re.findall(r'<BODY>', line)) > 0 ): 
                docStart = True
                pattern = re.search(r'<BODY>.*', line)
                doc+= pattern.group()[6:]

            if(len(re.findall(r'</BODY>\w*', line)) > 0 ):
                docStart = False
                docs.append(doc)
                doc=''
                docCount+=1
                continue
                #break
            if(docStart):
                doc += line

        fileCount+=1
        print 'docuemnt[%d][%d]'%(fileCount,docCount)
        yield docs
        docs = []

Answer 1

下面的行是期望一个可迭代的对象..其中readCorpus函数应该是使用关键字yield

的生成器

self.readCorpus()

然而，由于readCorpus关键字的实现不佳，yield函数的行为不符合生成器的行为。

当前实现每1000次循环迭代产生一个项目数组，而正确的方法是逐项产生。

因此需要将readCorpus修改为以下

def readCorpus(self):
        path = '../data/reuters'
        doc=''
        docStart=False

        fileCount=0

        print 'Reading Corpus'
        for name in glob.glob(os.path.join(path, '*.sgm')):
            print 'Reading File| ' + name
            docCount=0
            for line in open(name):
                if(len(re.findall(r'<BODY>', line)) > 0 ): 
                    docStart = True
                    pattern = re.search(r'<BODY>.*', line)
                    doc+= pattern.group()[6:]

                if(len(re.findall(r'</BODY>\w*', line)) > 0 ):
                    docStart = False
                    #docs.append(doc)
                    yield doc
                    doc=''
                    docCount+=1
                    continue
                    #break
                if(docStart):
                    doc += line

            fileCount+=1
            print 'docuemnt[%d][%d]'%(fileCount,docCount)

python gensim TypeError：强制转换为Unicode：需要字符串或缓冲区，找到列表

1 个答案: