在python中使用beautifulsoup单击链接

时间:2014-05-15 13:19:37

标签: python web-scraping beautifulsoup

在机械化中,我们使用follow_link或click_link单击链接。在美丽的汤中是否有类似的东西点击网页上的链接?

2 个答案:

答案 0 :(得分:12)

BeautifulSoup是HTML 解析器

进一步的讨论实际上取决于您所处的具体情况以及特定网页的复杂性。

如果您需要与网页互动:提交表单,点击按钮,滚动等 - 您需要使用利用真实浏览器的工具,例如selenium

在某些情况下,例如,如果提交表单时没有涉及JavaScript,mechanize也适用于您。

而且,有时您只需点击与urllib2requests的链接即可处理。

答案 1 :(得分:0)

print(soup.find('h1',class _ ='pdp_product_title')) 没有任何结果 <div class="pr2-sm css-1ou6bb2"><h2 class="headline-5-small pb1-sm d-sm-ib css-1ppcdci" data-test="product-sub-title">Women's Shoe</h2><h1 id="pdp_product_title" class="headline-2 css-zis9ta" data-test="product-title">Nike Air Force 1 Shadow</h1></div>