如果问题不完整或无益,我真的很抱歉。 我对此略显陌生。
我刚开始使用scrapy来抓取数据。我目前面临的问题是:当我尝试抓取数据时,网站会将我重定向到特定页面。
我打算阻止网站重定向到该特定网页。
说实话,我不确定它是否可能。
到目前为止我尝试的是:
重定向后,使用提供的href链接转到所需的页面。在这种情况下的问题是该网站跟随循环并将我重定向回同一页面。
REDIRECT_ENABLED =设置为False。在这种情况下的问题是刮板退出和脚本停止。
任何帮助都将非常感激。
谢谢