标签: hyperlink scrapy web-crawler internals
我在刮y的文档中尝试了AuthorSpider,但它没有为我返回作者页面,甚至没有使用parse_author()方法,我想抓取一个包含多个内部内容的网站链接,然后单击该链接以爬网文章,我尝试了所有简单的代码,将response.follow()与几种解析方法一起使用,但是它仅调用了第一个parse()方法,而parse_author()方法从未被叫。
AuthorSpider
parse_author()
response.follow()
parse()