Question

我有使用Scrapy框架编写的蜘蛛。我在使任何管道工作时遇到一些麻烦。我在pipelines.py中有以下代码：

class FilePipeline(object):

    def __init__(self):
        self.file = open('items.txt', 'wb')

    def process_item(self, item, spider):
        line = item['title'] + '\n'
        self.file.write(line)
        return item

我的CrawlSpider子类有这一行来激活这个类的管道。

ITEM_PIPELINES = [
        'event.pipelines.FilePipeline'
    ]

但是当我使用

运行时

scrapy crawl my_spider

我得到了一行

2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:

没有管道（我认为这是日志记录应该输出的地方）。

我试过查看文档，但似乎没有任何完整项目的完整示例，看看我是否遗漏了任何内容。

有关下一步尝试的建议吗？或者在哪里寻找进一步的文件？

Answer 1

知道了！该行需要进入项目的设置模块。现在它有效！

Answer 2

我愿意打赌，这是某个地方管道这个词的大写差异：

Pipeline vs. PipeLine

我注意到'event.pipelines.FilePipeline'使用前者，而你的代码使用后者：你的文件名使用哪个？

（我多次成为这个拼写错误的受害者！）

无法让Scrapy管道工作

2 个答案: