Python/Beautiful Soup 数据显示问题

Question

我正在尝试从网站中提取一些数据。一旦我检查了我用 beuatifulsoup 提取的数据（在下面的代码中使用 print(soup) ）似乎不太好。这与我使用 view-source:URL 检查时不同。我无法找到我正在寻找的字段。 你能帮我找到解决办法吗？

网站：https://www.wayfair.com/furniture/pdp/mercury-row-stalvey-contemporary-4725-wide-1-drawer-server-w003245064.html

基本上，我正在尝试获取此产品的价格。我在其他网站上使用了相同的代码结构，它运行正常，但在wayfair 上不起作用。

我还没有找到解决方案的第二件事是我的代码的最后一行（StyledBox-owpd5f-0 PriceV2__StyledPrice-sc-7ia31j-0 lkFBUo pl-Price-V2 pl-Price-V2--5000）。有没有办法只获得 389.99 美元的价格而不是产品名称？

提前致谢！

这是我的代码：

html = requests.get('https://www.wayfair.com/furniture/pdp/mercury-row-stalvey-contemporary-4725-wide-1-drawer-server-w003245064.html')
soup=BeautifulSoup(html.text,"html.parser")
print(soup)
inps=soup.find("div",class_="SFPrice").find_all("input")
for inp in inps:
    print(inp.get("StyledBox-owpd5f-0 PriceV2__StyledPrice-sc-7ia31j-0 lkFBUo pl-Price-V2 pl-Price-V2--5000"))

Answer 1

尝试：

soup.findAll('div', {'class': 'SFPrice'})[0].getText()

或者以更简单的方式：

inps=soup.findAll('div', {'class': 'SFPrice'})[0]
inps.getText()

两者都返回该特定产品的价格。

Answer 2

您的站点示例是一个客户端呈现的页面，并且获取的原始 html 数据不包括搜索到的元素（例如具有“SFPrice”类的 div）。

查看 this question 以了解如何使用 beautifulsoup 结合 selenium 和 phantomJS、dryscrape 或其他选项来抓取 javascript 呈现的页面。

或者你也可以看看this guide。