我正在整理zillows网站以收集房屋清单上的数据。我收集了所有数据在第一页上。
我想在第二个位置收集数据。因此,我想单击“下一个按钮”的链接,该链接会将我导航到第2页,第3页,依此类推。我使用了Chrome的检查功能来定位“下一个按钮”的html结构。它具有以下结构
<a href=”/homes/recently_sold/house_type/47164_rid/0_singlestory/37.720288,-121.859322,37.601788,-121.918888_rect/12_zm/2_p/” class=”on” onclick=”SearchMain.changePage(2);return false;” id=”yui_3_18_1_1_1525048531062_27962">Next</a>
然后,我使用了Beautiful Soup的find_all方法,并在标签“ a”和“ on”类上进行了过滤。
next_button = soup.find_all(“ a”,class _ =“ on”)
我得到一个空列表。有输入吗?