标签： python session-cookies scrapy
我正在研究一种在经过身份验证时抓取网站的蜘蛛，它使用多个用户和多个代理。无论如何我可以处理cookie，代理和会话，所以每个用户使用他们的特定cookie与特定的代理，所以抓取东西没有问题吗？
目前，我可以在经过身份验证和单个IP的情况下使用一个用户进行抓取，但希望对更多用户执行此操作。
答案 0 :(得分：1)
虽然需要一些工作，但这是可能的。
我可以想到两种方法来实现这个目标：
Request
Response
在这两种情况下，此信息都应该有所帮助：