网络抓取-寻找“隐藏的东西”

时间:2020-07-19 10:55:49

标签: python web-scraping beautifulsoup

  • 编辑* 问题已经解决。那是我愚蠢的错误,看起来不够远。一直专注于我错误的思维方式

我正在尝试从以下网站上抓取价格:Online webshop

我可以刮除价格以外的所有东西。当我检查页面并查找价格时,我发现的唯一结果是:class =“ hit-area__link medium--is-hidden” 这是真的:-) 我如何获得价格?

顺便说一句,我正在使用Beautifulsoup(在Python中)

非常感谢您的帮助!

亲切的问候, 彼得

1 个答案:

答案 0 :(得分:0)

在查看页面时,我看到每个产品都有一个带有“促销价格”类的span标签。使用以下代码:

soup = BeautifulSoup(r.text)

product_prices = soup.find_all("span", {"class":"promo-price"})
for price in product_prices:
    print(price) #  <span class="promo-price" data-test="price">19 <sup class="promo-price__fraction" data-test="price-fraction">58</sup>
    print(str(price.text).replace('  ', '.').replace('\n', '')) 

您可以获取放入“价格”和“价格分数”类别中的产品价格,然后剥离新行并将其替换为带有空格的空白

下次您可以将代码复制到问题中,以便我们知道您尝试过的内容吗:)