与网页Beautifulsoup和python互动

时间:2015-01-04 22:00:34

标签: python web-scraping beautifulsoup

我正在使用带有beautifulsoup和urllib2的Python 2.7,我试图废弃此页面:angel.co/companies 正如您所看到的那样,它显示了一个包含公司的列表,并以一个按钮结束&#34;更多&#34;展示其他人。当您单击该按钮时,会有更多公司看到它,并使用新的resutl列表创建一个新标签。该按钮位于此div:<div class="more" data-page="2">More</div>中,每次单击该按钮时,数据页面都会增加。 我想知道是否可以完全废弃此页面(因此每次到达结尾时都会点击&#34;更多&#34;按钮)。我想它正在废弃css并改变它但我从未这样做过,而且我还没有在任何地方找到这方面的信息。

1 个答案:

答案 0 :(得分:0)

根据您的目的,您可以use their API为此。如果您不确定它是什么以及如何使用它,请尝试使用Google搜索答案。 Here's one for starters.