我使用lxml来清理html数据,但在某些情况下,lxml也会删除有效标记。它会删除具有有效主机但以双斜杠(//)
开头的iframe标记代码示例:
>>> cleaner = Cleaner(host_whitelist=['www.youtube.com'])
>>> iframe = '<iframe src="//www.youtube.com/embed/S2S5I5GHkDQ"></iframe>'
>>> cleaner.clean_html(iframe)
'<div></div>'
但是对于普通网址(没有双斜线),它可以正常工作
>>> cleaner = Cleaner(host_whitelist=['www.youtube.com'])
>>> iframe = '<iframe src="https://www.youtube.com/embed/S2S5I5GHkDQ"></iframe>'
>>> cleaner.clean_html(iframe)
'<iframe src="https://www.youtube.com/embed/S2S5I5GHkDQ"></iframe>'
我需要做些什么,让lxml了解它的有效网址?
感谢。
答案 0 :(得分:0)
如果您查看Cleaner(http://lxml.de/3.4/api/lxml.html.clean.Cleaner-class.html)的文档,则默认情况下这些参数设置为True:
embedded:
Removes any embedded objects (flash, iframes)
frames:
Removes any frame-related tags
所以我的第一直觉就是尝试cleaner = Cleaner(host_whitelist=['www.youtube.com'], embedded=False)