网页抓取时如何防止429错误？

Question

我不知道如何限制发送到服务器的请求的数量和数量，偶尔会收到429错误。

我试图设置一个睡眠计时器，但我一直遇到相同的错误。

import bs4 as bs
import urllib.request


def getKarma():

# Scrapes Reddit
sauce = urllib.request.urlopen("https://www.reddit.com/user/ian141/downvoted").read()
soup = bs.BeautifulSoup(sauce, "lxml")

for span in soup.find_all('span', id='profile--id-card--highlight-tooltip--karma'):
    Skarma = span.text

# Parses into int
for b in Skarma:
    if b == ',':
        Ikarma = Skarma.replace(",", "")

return int(Ikarma)

我也经常收到“ UnboundLocalError：分配前引用本地变量'Skarma'”错误。