在scrapy管道中跳过下载而不是其他任务

时间:2017-08-30 19:35:52

标签: scrapy python-3.5 scrapy-pipeline

有没有办法可以跳过下载网页,但在执行后还有其他管道部分?

目前,我在start_requests中读取了json对象的文件,每个 json 对象都有一个网站URL和其他数据字段。如果网站URL不为空,则会生成请求对象,否则会跳过它。

在另一个函数parse中,我创建了一个item对象,之后数据库管道就会出现。

我想插入其他数据字段,即使网站网址为空,start_requests也不会创建请求对象。

0 个答案:

没有答案