scrapy：这个简单的管道出了什么问题

Question

我有两只scrapy蜘蛛，让我们说spider1和spider2。 spider1抓取一些网页并收集文件中的网址。这是代码：

class FileWriterPipeline(object):

    def __init__(self):
        self.file = open('somefile.txt'), 'wb')

    def process_item(self, item, spider):
        if spider.name == 'spider1':
            line = item['url'] + "\n"
            self.file.write(line)
            return item

问题是，只要我运行spider2，somefile.txt就会被清除干净。谁会知道这里有什么问题？

Answer 1

无论你以后做什么，只要你打电话：

open('somefile.txt', 'wb')

使用'wb'参数file is erased completely。如果您想要追加，则应使用'ab'。