使用Scrapy和Python 2.7抓取网页

Question

链接：http://content.time.com/time/covers/0,16641,19230303,00.html [新DOM链接]

封面Html标签

如何在杰森和下载 图片

中获取 SCR

下一个按钮标记

我想使用 Scrapy

废弃这两个链接

任何帮助!!

我需要编写一个方法来下载图像，然后单击下一页，在for循环中运行它们直到最终图像获得下载（最终页面）。 如何下载其余部分生病了。

我按照本教程https://www.pyimagesearch.com/2015/10/12/scraping-images-with-python-and-scrapy/

[DOM已经过时]

我已经为项目设置了所有文件和管道

对于Record，我尝试了不同的方法XPath css响应

Answer 1

我知道这并不麻烦，但是我发现使用BS4更容易。因此，您必须“ pip install beautifulsoup4”。这是一个示例：

decompose()

它就像一个魅力