所以我想网站抓一个网站，但是当我在几个请求（大约30个最大）请求之后迭代结果页面时，会抛出此错误：
requests.exceptions.TooManyRedirects：超过30个重定向
搜索网址被重定向到主页面网址，每个下一个网址的行为都相同，直到我连接到不同的VPN。 即使我欺骗用户代理并从免费代理列表中旋转代理，它仍然会在几个请求之后被重定向。我之前从未像过去那样在网络抓取过程中遇到过任何问题。绕过这个＆＃34;重定向块＆＃34;的最佳方法是什么？ allow_redirects = False 在这里也不起作用。
import requests
import random
import time
agents = [...] # List of user agents
for i in range(1,100):
url = "https://panoramafirm.pl/odpady/firmy,{}.html".format(i)
r = requests.get(url, headers={"User-Agent": random.choice(agents)})
print(r.status_code)
time.sleep(random.randint(10,15))