标签: scrapy python-3.5 scrapy-pipeline
有没有办法可以跳过下载网页,但在执行后还有其他管道部分?
目前,我在start_requests中读取了json对象的文件,每个 json 对象都有一个网站URL和其他数据字段。如果网站URL不为空,则会生成请求对象,否则会跳过它。
start_requests
在另一个函数parse中,我创建了一个item对象,之后数据库管道就会出现。
parse
我想插入其他数据字段,即使网站网址为空,start_requests也不会创建请求对象。