使用Beautifulsoup导航到下一页的问题

时间:2018-10-05 00:42:46

标签: python-3.x beautifulsoup

我正在整理zillows网站以收集房屋清单上的数据。我收集了所有数据在第一页上。

我想在第二个位置收集数据。因此,我想单击“下一个按钮”的链接,该链接会将我导航到第2页,第3页,依此类推。我使用了Chrome的检查功能来定位“下一个按钮”的html结构。它具有以下结构

<a href=”/homes/recently_sold/house_type/47164_rid/0_singlestory/37.720288,-121.859322,37.601788,-121.918888_rect/12_zm/2_p/” class=”on” onclick=”SearchMain.changePage(2);return false;” id=”yui_3_18_1_1_1525048531062_27962">Next</a>

然后,我使用了Beautiful Soup的find_all方法,并在标签“ a”和“ on”类上进行了过滤。

  

next_button = soup.find_all(“ a”,class _ =“ on”)

我得到一个空列表。有输入吗?

0 个答案:

没有答案