scrapy如何完成cookie通讯

时间:2019-06-13 06:58:07

标签: scrapy

在我编写scrapy框架时,我遇到一个需要登录的网站。我想在中间件中请求cookie值,以便爬网程序可以确定是否需要登录并检索cookie值。通过响应状态值。

我试图在中间件的process_response中编写登录代码,以便在登录后获取Cookie。

middleware.py

def process_response(self, request, response, spider):
    print(response)  #但是这里不输出
    if len(response.body)<200:
        cks= self.get_cookies()
        request.headers['Cookie']=cks
        return request
    else:
        return response

items.py

class EsasentinelmissionItem(scrapy.Item):
     # define the fields for your item here like:
     url = scrapy.Field()#下载链接

spider.py

def parse(self,response):
     item=EsasentinelmissionItem()
     for url in urls:
          item['url']=url
          yield scrapy.Request(item)

我想了解曲奇的cookie传递智能。

0 个答案:

没有答案