为什么Java不能通过使用scrapy splash来实现?

时间:2019-05-30 07:57:25

标签: python-3.x scrapy scrapy-splash

我正在使用一个简单的草率启动脚本来抓取一个名为MOAT.com的网站

当我进入外壳程序时,站点加载没有任何错误,但是我无法获取通过选择器小工具扩展可用的任何CSS响应。网站加载速度是否太慢?还是我应该使用除飞溅以外的其他工具来获取我想要的图像?

我已打开用户代理 我禁用了私人浏览模式 docker run -it -p 8050:8050 scrapinghub / splash --disable-private-mode 我在外壳程序和脚本中都尝试了多个.css选择器。

class MoatSpider(scrapy.Spider):
    name = 'moat'
    start_urls = ['https://moat.com/advertiser/amd']

    def parse(self, response):
        items = MoatScrape()

        product_image = response.css('.show .fade-in::attr(src)').extract()

        items['product_image'] = product_image

        yield items

0 个答案:

没有答案