在具有href的CDN端点的情况下抓取下载图像

时间:2020-06-13 16:36:37

标签: scrapy scrapy-pipeline

我要下载的图像具有以下格式:

<a href="//cdn.xyz.com/download/file.jpg" title="JPG file" target="_blank" class="btn btn-default">Small</a>

问题是手动下载时,我需要单击按钮,文件将照常下载。但是,如果您复制href并将其粘贴到浏览器中,则该文件不会下载,并且会重定向到主网站。

由于scrapy不能像硒一样工作(单击按钮等。),因此无法从href中的数据下载图像。

有没有人试图下载CDN中的这种图像?我猜它已经阻止了在主域之外的任何请求的服务?

0 个答案:

没有答案