使用Beautiful Soup加载更多数据并浏览页面

Question

所以我想使用beautifulsoup4查询ratemyprof中滑铁卢教授的信息。需要从导航栏中获取数据，您不断需要按“加载更多”来加载更多数据。

此外，在检查加载更多按钮时，它链接到javascript函数。如何编写代码以持续加载更多，直到它不能？ 以下是检查按钮时的样子片段：Load More Inspection

有人可以帮我写一下循环来从这个页面中提取信息：“http://www.ratemyprofessors.com/search.jsp?queryBy=schoolId&schoolName=University+of+Waterloo&schoolID=1490&queryoption=TEACHER”

Answer 1

这并不容易。

使用filename="${input_file%.*}" mv $input_file $filename.old 获取更多js加载的数据。

或selenium可能会对您有所帮助。

另见other answer