目前我正面临一个问题。
考虑URL http://projects.spring.io/spring-framework/,如果你在浏览器中查看来自view-source的源代码,它与inspect-element版本不同
现在问题是inspect元素版本包含完全加载的HTML源代码(通过JS,ajax等),这就是我需要的
import urllib2
page = urllib2.urlopen(url)
page_content = page.read()
上面的没有提供完全加载的版本,因为将使用webdriver,所以也不能使用selenium。在我的系统中,它可能存在也可能不存在。
所以目前我正在寻找一种解决方法,其他库也许。