我正在尝试从VGchart中删除数据。我一直在使用Beautifulsoup加载网址。我已经能够从总体图表中获取数据，但是我想获取体裁数据，仅当我在每个游戏网址站点中加载后才能使用。总体排行榜仅占16页，每页有1000场比赛。大约有16,000场比赛。我很容易遇到HTTP错误429以及许多其他Web抓取工具。
我已经尝试加载IP地址列表，并在加载页面导致此错误后更改IP。以及导致我的代码在每个URL之后导致错误的情况下休眠一段时间。
这些都不起作用。
不知道是否有人有爬过1000多个站点并能够解决429错误的经验。我也在尝试使用元游戏数据进行此操作，并且发生了相同的错误。