是否可以使用美丽的汤点击链接?

时间:2015-09-15 09:06:04

标签: python beautifulsoup web-crawler

我知道很容易获得href属性并使用urllib32请求。但问题是,我的链接没有使用href。 ut的动作由javascript处理。这是链接:

<a name="EntrezSystem2.PEntrez.PubMed.Pubmed_ResultsPanel.Entrez_Pager.Page" title="Next page of results" class="active page_link next" href="#" sid="8" page="2" accesskey="k" id="EntrezSystem2.PEntrez.PubMed.Pubmed_ResultsPanel.Entrez_Pager.Page">Next &gt;</a>

有没有办法点击它就像我们在浏览器中那样?

我想抓取此链接,然后点击下一个链接: http://www.ncbi.nlm.nih.gov/pubmed?term=Breast%20cancer%5BTitle%2FAbstract%5D

1 个答案:

答案 0 :(得分:1)

是的,这是可能的,但方法不同。您需要了解在浏览器中手动单击该链接时发生的get / post请求。您可以使用浏览器的Developer Console的Network选项卡进行操作。您可能还需要维护会话,即接收,存储和发送cookie。您可以使用Requests作为相同内容。