用beautifulsoup查看整个网页

时间:2013-06-22 01:47:39

标签: python web web-scraping beautifulsoup

我正在抓一个网站,但它只显示了底部的一部分网站,它有一个查看更多按钮。无论如何通过python查看网页上的所有内容?

1 个答案:

答案 0 :(得分:1)

BeautifulSoup只解析返回的HTML。它不执行JavaScript,JavaScript通常用于加载新内容或在加载后修改现有网页。

您需要执行JavaScript,这需要的不仅仅是HTML解析器。你基本上需要使用浏览器。有一些Python包可以做到这一点: