当我尝试从ratemyprofessor.com（http://www.ratemyprofessors.com/ShowRatings.jsp?tid=860968#）刮取评论文本时遇到问题。我目前正在使用BeautifulSoup和请求。
我希望获得所有评论内容，而单击“加载更多”后的数据将无法访问。我尝试了StackOverflow和Reddit上发布的各种方法，不幸的是，它们都不适合我。
正在检查的更多加载按钮： onclick =“ javascript：mtvn.btg.Controller.sendLinkEvent（{linkName：'PROF：LoadMore'，linkType：'o'}）;”
如果有人可以帮助我解决这个问题，我将不胜感激。谢谢。
答案 0 :(得分：0)
这在JS网站上显示。我认为您需要使用Selenium之类的工具来抓取此内容。通过使用Selenium，您可以指示Web浏览器滚动到末尾并以这种方式捕获您正在寻找的所有数据。
答案 1 :(得分：0)
您需要使用Chrome网络标签，以便在单击“加载更多”时查看发出了什么请求。 在这种情况下，它是：
http://www.ratemyprofessors.com/paginate/professors/ratings?tid=860968&filter=&courseCode=&page=2