加载JS后从url获取源代码

时间:2014-12-03 11:15:32

标签: python python-2.7 web-scraping urllib2

目前我正面临一个问题。

考虑URL http://projects.spring.io/spring-framework/,如果你在浏览器中查看来自view-source的源代码,它与inspect-element版本不同

现在问题是inspect元素版本包含完全加载的HTML源代码(通过JS,ajax等),这就是我需要的

import urllib2
page = urllib2.urlopen(url)
page_content = page.read()
上面的

没有提供完全加载的版本,因为将使用webdriver,所以也不能使用selenium。在我的系统中,它可能存在也可能不存在。

所以目前我正在寻找一种解决方法,其他库也许。

0 个答案:

没有答案