在beautifulsoup的上下文中，lxml和html5lib解析器的功能是否存在差异？我正在尝试学习使用BS4并使用以下代码构造 -
ret = requests.get('http://www.olivegarden.com')
soup = BeautifulSoup(ret.text, 'html5lib')
for item in soup.find_all('a'):
print item['href']
我开始使用lxml作为解析器，但注意到对于某些网站，即使页面中有有效链接，也永远不会输入for循环。同一页面适用于html5ib解析器。是否有任何特定类型的页面可能无法与lxml一起使用？
我在Ubuntu上使用python-lxml 2.3.2-1和libxml2 2.7.8.dfsg-5.1ubunt 和html5lib-1.0b3
编辑：我更新到lxml 3.1.2并仍然看到相同的问题。在运行3.0.x的mac上，正在正确解析同一页面。有问题的网站是www.olivegarden.com
答案 0 :(得分：7)
html5lib使用HTML规范中定义的HTML parsing algorithm，并在所有主流浏览器中实现。 lxml使用libxml2的HTML解析器 - 这最终基于它们的XML解析器，并且不会对其他地方使用的无效HTML进行任何错误处理。
大多数网络开发人员只使用网络浏览器进行测试 - 标准被诅咒 - 所以如果你想获得网页作者的意图，你可能需要使用类似当前浏览器的html5lib，