使用vpn是否会中断一遍又一遍使用相同cookie的python会话请求？

Question

我正在收集来自peoplefinders.com的数据，这是一个无法从我的国家访问的网站，所以我基本上使用的是一个vpn客户端。

我使用会话帖子登录此网站，并通过同一会话从同一网站的不同页面获取项目。问题是我在使用get请求的for循环中进行抓取，但由于某种原因，我在几次迭代后收到响应400错误。平均刮取4-5页后发生错误。

是否因为我正在使用vpn连接？ 来自同一会话的所有请求是否都包含相同的cookie，因此允许我在抓取同一网站的不同页面时保持登录状态？

谢谢

Answer 1

如果请求格式错误，则返回HTTP 400。

当您收到错误时，您应该检查正在进行的请求。也许，它没有正确编码。

VPN不应该导致HTTP 400。