页面未加载(无html正文)用于在Scapy

时间:2018-01-26 09:54:25

标签: python-3.x web-scraping scrapy web-crawler scrapy-splash

我在抓取过程中使用Scrapy 1.5.0在网站中抓取产品时显示302重定向问题,但没有抓取部分网页的数据。

Redirecting (302) to <GET www.xyz.com>

所以,我使用了 scrapy-splash ,它解决了&#34;重定向302&#34; 的问题。但是现在相同的页面没有加载,我为该页面获得的响应是​​

<Selector xpath=None data='<html class="a-no-js" lang="en-us"><!--<'>

如果页面已正确加载,那么这是该页面的响应

<Selector xpath=None data='<html class=" a-js a-audio a-video a-can'>

如果我等了10秒钟,那么所有页面都会被抓取。那么有没有办法解决这个问题而不使用等待。这是Request

的语法
yield SplashRequest(response.urljoin(result), callback=self.parse_page, args={'wait': 10}, endpoint = 'render.html',)

0 个答案:

没有答案