不要允许网站自动重定向Scrapy

时间:2015-07-08 21:07:57

标签: python web-scraping scrapy scrapy-spider

如果问题不完整或无益,我真的很抱歉。 我对此略显陌生。

我刚开始使用scrapy来抓取数据。我目前面临的问题是:当我尝试抓取数据时,网站会将我重定向到特定页面。

我打算阻止网站重定向到该特定网页。

说实话,我不确定它是否可能。

到目前为止我尝试的是:

  1. 重定向后,使用提供的href链接转到所需的页面。在这种情况下的问题是该网站跟随循环并将我重定向回同一页面。

  2. REDIRECT_ENABLED =设置为False。在这种情况下的问题是刮板退出和脚本停止。

  3. 任何帮助都将非常感激。

    谢谢

0 个答案:

没有答案