Question

我想从一个网页上抓取数据。我的代码如下所示：

grad = s.get('https://www.njuskalo.hr/prodaja-kuca/zagreb',headers=header, proxies=proxyDict)
city_soup = BeautifulSoup(grad.text, "lxml")
kvarts = city_soup.find_all(id="locationId_level_1")
print kvarts[0]
print "++++++++++++++++++++++="

for kvart in kvarts[0]:
    print kvart

结果我得到了：

<option data-url-alias="/brezovica" value="1247">Brezovica</option>
<option data-url-alias="/crnomerec" value="1248">Črnomerec</option>
<option data-url-alias="/donja-dubrava" value="1249">Donja Dubrava</option>

从那里我需要提取data-url-alias和value。怎么做？

Answer 1

bs4将标记属性存储在字典中，以便您可以按名称选择它们。

for kvart in kvarts[0].find_all('option'):
    print kvart['data-url-alias'], kvart['value']

如Evyatar Meged在评论中所提到的，如果密钥不存在，则会引发KeyError，因此如果您不确定它是否使用.get方法。

for kvart in kvarts[0].find_all('option'):
    print kvart.get('data-url-alias'), kvart.get('value')

如果密钥不存在，则

dict.get会返回None（或者您可以设置默认值）

如何使用BeautifulSoup获取数据

1 个答案: