Question

我正在尝试通过网络抓取（此处网站）的特定数据，以便为我个人兴趣生成此计算机游戏的其他统计信息列表。但是，每当我尝试抓取数据时，我都会收到以下错误：

HTTP错误429：受限制

我研究了错误并说：＆＃34;用户在给定的时间内发送了太多请求。打算用于速率限制方案。＆＃34;因此，我无法在此网站上打开任何页面。

这是我目前的代码：

import urllib.request
import urllib.parse

try:
    url = urllib.request.urlopen('website here')
    headers = {}
    headers['User-Agent'] = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.27 Safari/537.17'
    req = urllib.request.Request(url, headers=headers)
    resp = urllib.requests.urlopen(req)
    respData = resp.read()
    print (respData)

except Exception as e:
    print(str(e))

更改＆＃34;用户代理＆＃34;没有成功。由于错误是指大量请求，我是否可以在脚本中的某处添加延迟？我以为我可以在我的计算机上写一个文件，随着时间的推移不断添加页面块。有什么想法吗？

我对Python /抓取有些新手，所以尽量用简单的术语来表达:)谢谢！

-2.0

注意：我有Python 3.4和2.7

HTTP错误429：受限制 - Python Web Scraping

0 个答案: