Question

我正在尝试为某样东西做价格检查并尝试运行此代码，但它并没有给我一切，我在网站上暂停了大约 10 个小时，因为发送了太多命令有没有办法解决它或我就是不能一次刮那么多页？

import requests
from bs4 import BeautifulSoup

headers = {"Accept-Language": "en-US,en;q=0.5"}

skinlist = []
def getskins(page):
    url = f'https://steamcommunity.com/market/search?appid=730#p{page}_popular_desc'
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.text, 'html.parser')
    sm = soup.find_all('div', class_ = 'market_listing_row')
    for item in sm:
        skin = {
        'title': item.find('span', class_ = 'market_listing_item_name').text,
        'price': item.find('span', class_ = 'normal_price').text,
        }
        skinlist.append(skin)
    return

for x in range(1,1633):
    getskins(x)

print(len(skinlist))

Answer 1

如果您没有请求限制，您可以使用 threading 库一起发送大量请求。

你现在可以做什么？

您可以搜索 api 端点以从中获取信息或尝试了解网站如何获取信息并执行相同操作

有没有办法解决这个刮擦问题？

1 个答案: