我在抓取过程中使用Scrapy 1.5.0在网站中抓取产品时显示302重定向问题,但没有抓取部分网页的数据。
Redirecting (302) to <GET www.xyz.com>
所以,我使用了 scrapy-splash ,它解决了&#34;重定向302&#34; 的问题。但是现在相同的页面没有加载,我为该页面获得的响应是
<Selector xpath=None data='<html class="a-no-js" lang="en-us"><!--<'>
如果页面已正确加载,那么这是该页面的响应
<Selector xpath=None data='<html class=" a-js a-audio a-video a-can'>
如果我等了10秒钟,那么所有页面都会被抓取。那么有没有办法解决这个问题而不使用等待。这是Request
的语法yield SplashRequest(response.urljoin(result), callback=self.parse_page, args={'wait': 10}, endpoint = 'render.html',)