如何使用robobrowser刮擦“ aria-label”

Question

我不熟悉网页抓取功能，目前正在使用robobrowser抓取网页。 我正在尝试在特定类别下抓取“ aria-label”的值，但不知道该怎么办。

这是我的代码。

from robobrowser import RoboBrowser
browser = RoboBrowser(history=True, parser='html.parser')
browser.open('https://www.scrapingwebsite.com')
links = browser.find_all(class_='searchResult__373c0__1yggB')
for link in links:
    print(link.find(class_='big_braket_class').text)
    problem_part = link.find(class_='subsidiary_class')
    print(problem_part.get('aria-label'))

它根本不起作用。有什么办法可以使其工作？ 谢谢

Answer 1

您可以将内容从robobrowser转储到bs4中。然后在bs4 4.7.1中使用：has和：contains定位必需项。

from bs4 import BeautifulSoup
#...your code
soup = browser.parsed
data = [(item.select_one('[class*=businessName]').text.replace('\xa0',''), item.select_one('[class*="i-stars"]')['aria-label']) for item in soup.select('li:has(h3:contains("All Results")) ~ li:has([class*=businessName])')]
print(data)

结果样本：