lxml-从间接网址转换为直接网址

时间:2018-07-11 13:13:16

标签: python web-scraping lxml

我正在使用python和lxml收集一些Web数据。

如果我有一些要点:

import requests
from lxml import html

r = requests.get(url)
tree = html.fromstring(r.text)
file_ = tree.xpath('some_xpath')[0]
url=file_.attrib['href'] #element

产生如下内容:

../Document1/Document2.aspx?No=123456

我的基本URL类似于:

http://www.foo.com/

我可以添加基本URL并清除间接的前导句号,但是必须有更好的方法。

感谢您的任何输入。

1 个答案:

答案 0 :(得分:0)

对于Python 2,它是:

from urlparse import urljoin
abs = urljoin(base, rel)