我正在使用一个简单的草率启动脚本来抓取一个名为MOAT.com的网站
当我进入外壳程序时,站点加载没有任何错误,但是我无法获取通过选择器小工具扩展可用的任何CSS响应。网站加载速度是否太慢?还是我应该使用除飞溅以外的其他工具来获取我想要的图像?
我已打开用户代理 我禁用了私人浏览模式 docker run -it -p 8050:8050 scrapinghub / splash --disable-private-mode 我在外壳程序和脚本中都尝试了多个.css选择器。
class MoatSpider(scrapy.Spider):
name = 'moat'
start_urls = ['https://moat.com/advertiser/amd']
def parse(self, response):
items = MoatScrape()
product_image = response.css('.show .fade-in::attr(src)').extract()
items['product_image'] = product_image
yield items