在我编写scrapy框架时,我遇到一个需要登录的网站。我想在中间件中请求cookie值,以便爬网程序可以确定是否需要登录并检索cookie值。通过响应状态值。
我试图在中间件的process_response
中编写登录代码,以便在登录后获取Cookie。
middleware.py
def process_response(self, request, response, spider):
print(response) #但是这里不输出
if len(response.body)<200:
cks= self.get_cookies()
request.headers['Cookie']=cks
return request
else:
return response
items.py
class EsasentinelmissionItem(scrapy.Item):
# define the fields for your item here like:
url = scrapy.Field()#下载链接
spider.py
def parse(self,response):
item=EsasentinelmissionItem()
for url in urls:
item['url']=url
yield scrapy.Request(item)
我想了解曲奇的cookie传递智能。