scrapy:使用规则进行链接提取时未定义allow

时间:2014-02-27 11:42:53

标签: hyperlink scrapy

rules = (Rule(SgmlLinkExtractor(allow('.*?search_query=.*',), restrict_xpaths('ul[@class="paginator"]',)), callback='parse_item',allow=True),

NameError:未定义名称“allow”

我无法找到任何结论为什么会出现此错误: 提前感谢您的帮助

1 个答案:

答案 0 :(得分:2)

如果没有其余的蜘蛛代码,测试会有点棘手,但我注意到以下内容:

  1. =
  2. 后缺少allow个符号
  3. callback='parse_item'后,下一部分为follow=True,而不是allow=True
  4. 声明末尾缺少)
  5. 阅读scrapy CrawlSpider rules documentation以获取更多信息
  6. 请尝试以下规则,但如果仍有问题,请发布完整的蜘蛛代码,以便我可以测试规则声明。 :)

    rules = (
        Rule(SgmlLinkExtractor(allow=('.*?search_query=.*',), restrict_xpaths('ul[@class="paginator"]',)), 
            callback='parse_item', follow=True),
        )