正在调用Stop Image管道

时间:2013-08-19 10:32:22

标签: scrapy

我正在开发一个Scrapy项目来抓取产品细节并从电子商务网站下载图像。

阶段1  我只想抓住产品细节。

阶段2  我想下载刮擦产品的图片。

但是当我执行此命令scrapy crawl product时,也会调用图像管道。

我怎么能这样做?

这是我的代码:


pipelines.py

class ProductPipeline(object):

    def process_item(self, item, spider):
        if 'image' in getattr(spider, 'pipelines', []):
            return item
        else:
            ......
            ......


class jellyImagesPipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield Request(image_url)

Product_spider.py

class ProductSpider(BaseSpider):
    pipelines=['ProductSpider']

    name = "product"


    def start_requests(self):
        ....
        ....

image_spider.py

class ImageSpider(BaseSpider):
    pipelines=['image']
    name = "image"



    def start_requests(self):
        ....
        ....

0 个答案:

没有答案