无法抓取横幅图片

时间:2018-04-29 20:45:09

标签: python web-scraping scrapy

我正试图通过以下链接抓取横幅图片(更大图像)的链接:https://allevents.in/pune/filmmaking-workshop/20001033616713。为此我尝试了这两个命令,这两个命令都返回了一个空列表。

response.xpath('//img[@class="event-banner-image"]/@src').extract()

response.xpath('//*[@class="event-banner-image"]/@src').extract()

我正在使用Scrapy和Python。

1 个答案:

答案 0 :(得分:1)

您在页面源中寻找的图像实际上有几个来源。

只需点击 ctrl + u (在某些浏览器上可能会有所不同)“查看页面来源”并搜索您的网址字符串。

我发现你可以在meta标签下面看到你想要的图像:

$ scrapy shell https://allevents.in/pune/filmmaking-workshop/20001033616713
In : response.xpath('//meta[@property="og:image"]/@content').extract()
Out: ['https://cdn-az.allevents.in/banners/2d76d5624f4e4b83155a51d60b3872fb-rimg-w525-h350-gmir.jpg']