获取需要用户交互的页面

Question

在Python中，我试图从特定网站获取页面。 在这个网站中，有些部分的信息在HTML页面中无法完全访问，需要一些用户交互。更清楚的是，有一些评论，但长篇评论被缩短，要查看整个评论用户必须点击“更多”超链接。有没有办法在Python中处理这些超链接并获取所有这些情况的整个评论？

以下是“更多”超链接的快照：

<span class="bla bla" onclick="ta.util.cookie.setPIDCookie(123); ta.call('ta.servlet.Reviews.expandReviews',event,this,'review_331979201', '1', 123);"> More </span>

Answer 1

你可以使用selenium webdriver api例如看到这个

https://www.reddit.com/r/selenium/comments/2lscf4/clicking_a_button_using_selenium_python/

对于阅读完整文档，请使用http://www.seleniumhq.org/docs/

Answer 2

使用Selenium python绑定：http://selenium-python.readthedocs.org/

该算法可能如下：

1. 如果在视图端口中看不到“更多”超链接 - 请滚动到此元素
2. 点击以超链接
3. 获取所有评论

滚动和点击网络元素的类似案例：https://stackoverflow.com/a/34271050/2517622