Question

我尝试使用scrapy抓取www.mywebsite.com。

www.mywebsite.com托管在免费主机上，网址为www.mywebsite.freehost.com。我正在将免费主机重定向到我的付费域名。

这里的问题是scrapy忽略重定向，最终结果是0页被抓取。

如何告诉scrapy我需要它来抓取重定向的网址？我只需要它来抓取重定向的网址，而不是其他网站引出的网址（如Facebook网页等）。

2016-11-27 14:48:42 [scrapy] INFO: Spider opened
2016-11-27 14:48:42 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2016-11-27 14:48:42 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2016-11-27 14:48:44 [scrapy] DEBUG: Crawled (200) <GET http://www.mywebsite.com/> (referer: None)
2016-11-27 14:48:44 [scrapy] DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net>
2016-11-27 14:48:44 [scrapy] INFO: Closing spider (finished)
2016-11-27 14:48:44 [scrapy] INFO: Dumping Scrapy stats:

Answer 1

日志显示您的请求正在被过滤：

DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net>

将该域freehost.net添加到您的allowed_domains列表中，或从您的蜘蛛中删除allowed_domains以允许每个域。

用scrapy爬行重定向的URL

1 个答案: