我正在编写一个工具,需要在网页上的div中收集所有网址,但在该div之外没有网址。简化页面看起来像这样:
<div id="bar">
<a link I dont want>
<div id="foo">
<lots of html>
<h1 class="baz">
<a href=”link I want”>
</h1>
<h1 class="caz">
<a href=“link I want”>
</h1>
</div>
</div>
当用Firebug选择div并选择XPath时,我得到:// * [@ id =“foo”]。到现在为止还挺好。但是我一直试图找到div foo里面的所有网址。请帮我找到一种方法来提取元素中href定义的url。
示例代码类似于我正在使用的w3schools:
import mechanize
import lxml.html
import cookielib
br = mechanize.Browser()
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
br.addheaders = [('User-agent', 'WatcherBot')]
r = br.open('http://w3schools.com/')
html = br.response().read()
root = lxml.html.fromstring(html)
hrefs = root.xpath('//*[@id="leftcolumn"]')
# Found no solution yet. Stuck
感谢您的时间!
答案 0 :(得分:9)
你可能想要这个:
hrefs = root.xpath('//div[@id="foo"]//a/@href')
这将为您提供href
内任意级a
内所有<div id="foo">
个值的列表