将lxml _Element转换为HtmlElement

时间:2015-10-14 20:04:12

标签: lxml html5lib

出于各种原因,我正试图从lxml.html.fromstring()切换到lxml.html.html5parser.document_fromstring()。两者之间的最大区别是第一个返回lxml.html.HtmlElement,第二个返回lxml.etree._Element

大多数情况下这没关系,但是当我尝试使用_Element对象运行我的代码时,它会崩溃,并说:

AttributeError: 'lxml.etree._Element' object has no attribute 'rewrite_links'

哪个有道理。我的问题是,处理这个问题的最佳方法是什么。我有很多代码需要HtmlElements,所以我认为最好的解决方案是转换为那些。我不确定这是否可能。

更新

一个可怕的解决方案如下:

from lxml.html import fromstring, tostring
from lxml.html import html5parser

e = html5parser.fromstring(text)
html_element = fromstring(tostring(e))

显然,这是非常强大的力量,但确实有效。我能够得到一个被html5parser解析的HtmlElement,这就是我所追求的。

另一种选择是找出如何进行我依赖的rewrite_links和xpath查询,但是_Element似乎没有那个函数(这也是有意义的!)

1 个答案:

答案 0 :(得分:0)

一种解决CPU强度低于蛮力的解决方案是基于根树创建一个几乎为空的HtmlElement并附加_Element子代。

from lxml.html import fromstring, tostring
from lxml.html import html5parser


text = "<html lang='en'><body><a href='http://localhost'>hello</body></html>"
e = html5parser.fromstring(text)

html_element = fromstring(tostring(e.getroottree()))
for child in e.getchildren():
  html_element.append(child)

print(tostring(html_element))


def rewriter(link):
  return "http://newlink.com"

html_element.rewrite_links(rewriter)
print(tostring(html_element.body)) 

将输出:

b'<html><body><html xmlns:html="http://www.w3.org/1999/xhtml" lang="en"><head></head><body><a href="http://localhost">hello</a></body></html></body><html:head xmlns:html="http://www.w3.org/1999/xhtml"></html:head><html:body xmlns:html="http://www.w3.org/1999/xhtml"><html:a href="http://localhost">hello</html:a></html:body></html>'
b'<body><html xmlns:html="http://www.w3.org/1999/xhtml" lang="en"><head></head><body><a href="http://newlink.com">hello</a></body></html></body>'

在这种情况下,像'body'这样的属性和'rewrite_links'这样的方法都可以工作。