如何使用lxml与页面进行交互并拉出要删除的菜单?

时间:2018-04-19 00:42:31

标签: python web-scraping python-requests lxml

供参考,this is the page that I will use as an example. It is the one that best demonstrates what I am trying to accomplish.如果您查看该页面,屏幕顶部会有一个品牌横幅。在右上角,有一个看到所有按钮,可以拉出菜单。此菜单中的数据不在html中,它是通过单击该按钮生成的。有没有办法让lxml执行单击该按钮并拉出该菜单的操作?

我看了一下网络日志。在我看来,那里没有任何包含该菜单数据的文件或网址。我相信selenium确实有这个功能,但我宁愿不必只使用lxml。

1 个答案:

答案 0 :(得分:1)

lxml是一个解析器,因此无法单击页面上的按钮元素。不幸的是,使用像Selenium这样的工具是你需要做的事情。

我知道你提到过查看网络日志。通常在这些情况下,最好尝试查找端点并直接发出请求,但如果您尝试但无法找到请求,则使用Selenium。