Scrapy返回302用于某些网络

Question

我在某些特定网络中使用scrapy进行抓取时得到302。它在我的办公室网络中工作，但不在我的家庭网络中工作。它在我的一个移动网络中运行，但在另一移动网络中不工作（获取302）。你们知道为什么会这样吗？

Answer 1

不知道是哪个特定的URL，我只能猜测那些获得302的IP地址可能已被反机器人软件解决方案标记，并被重定向到某种CAPTCHA。

尝试using Splash，看看结果是否相同。