Question

我正在使用scrapy来刮擦需要登录的网站，但是我不确定要保存和加载以保持会话所需的字段到底有多少。

对于硒，我正在执行以下操作来使Cookie成为饼干：

import pickle
import selenium.webdriver 

driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
pickle.dump( driver.get_cookies() , open("cookies.pkl","wb"))

要加载它们：

进口泡菜导入selenium.webdriver

driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
    driver.add_cookie(cookie)

它工作得很好，是否有可能使用scrapy做到这一点

Answer 1

使用Cookie发送请求：

request_with_cookies = Request(url="http://www.example.com", cookies={'currency': 'USD', 'country': 'UY'})

从响应中获取Cookie：

cookies_from_response = response.headers[b'Cookies'].decode()

加载会话cookie

1 个答案: