类由以空格分隔的四个部分组成

时间:2018-06-26 09:23:46

标签: python-3.x web-scraping beautifulsoup

我正在尝试使用python和漂亮的汤抓取一个网站。目的是建立一个具有相关信息(位置,单位大小,租金...)的csv文件。  我不是100%知道问题是什么,但我认为这与班级的结构有关。 “结果matchs_criteria_and_filters first_listing突出显示”

代码的第一部分:

 import requests
 from bs4 import BeautifulSoup
 r= requests.get("https://www.publicstorage.com/storage-search-landing.aspx? 
 location=New+York")
 c=r.content

之后,我需要将class =结果matchs_criteria_and_filters first_listing突出显示。在这里我做不到。

我在其他线程中发现的解决方案不起作用。

 soup.select("result.matches_criteria_and_filters.first_listing.highlighted")

我发现的另一种可能性是分开,但这没用。

 soup.find_all(attrs={'class': 'result'})
 soup.find_all(attrs={'class': 'matches_criteria_and_filters'})

我尝试过的一切,都没有或没有对象。

1 个答案:

答案 0 :(得分:0)

首先尝试通过类似于以下代码的父div:

soup = BeautifulSoup('yourhtml', 'lxml')
results_div = soup.find('div', {'id':'results'})
#now iterate through all children divs

然后对子div进行您想做的任何事情