标签: python web web-scraping beautifulsoup
我正在抓一个网站,但它只显示了底部的一部分网站,它有一个查看更多按钮。无论如何通过python查看网页上的所有内容?
答案 0 :(得分:1)
BeautifulSoup只解析返回的HTML。它不执行JavaScript,JavaScript通常用于加载新内容或在加载后修改现有网页。
您需要执行JavaScript,这需要的不仅仅是HTML解析器。你基本上需要使用浏览器。有一些Python包可以做到这一点: