我正在开发一个Scrapy项目来抓取产品细节并从电子商务网站下载图像。
阶段1 我只想抓住产品细节。
阶段2 我想下载刮擦产品的图片。
但是当我执行此命令scrapy crawl product
时,也会调用图像管道。
我怎么能这样做?
这是我的代码:
pipelines.py
class ProductPipeline(object):
def process_item(self, item, spider):
if 'image' in getattr(spider, 'pipelines', []):
return item
else:
......
......
class jellyImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
yield Request(image_url)
Product_spider.py
class ProductSpider(BaseSpider):
pipelines=['ProductSpider']
name = "product"
def start_requests(self):
....
....
image_spider.py
class ImageSpider(BaseSpider):
pipelines=['image']
name = "image"
def start_requests(self):
....
....