通过Scrapy下载动态Web内容(python 2.7)

时间:2012-02-06 12:58:09

标签: python web-scraping scrapy

我回到了这个项目(网页抓取动态内容),我接着完成了本教程,但是我无法完成它。

我正在使用python 2.7和scrapy框架0.14

通过我的项目,获取数据显然是最重要的一点,我即将了解使用ajax下载动态数据的站点的技术,但在此示例中,我无法实际下载图像。

使用命令运行刮刀(在Windows 7上的cmd.exe中):

  

scrapy runspider nasa.py

但它实际上并没有下载任何内容(它只解析数据)

我错过了什么吗?这是第一个真正的编程项目,我已经冒险进入非初学者领域并且肯定会迷路。

这是教程:

Scraping ajax with Scrapy

有关允许脚本将图像下载到本地存储的正确代码的任何建议吗?

谢谢:)

1 个答案:

答案 0 :(得分:1)

在你的setting.py

添加

IMAGES_STORE = 'you dir path where you want to download images'
ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline'] #enable image pipline

在您的项目中定义 image_urls

添加图片网址 image_urls #应该被视为程序中的列表

suggested study