如何在python3上加载整页?

时间:2017-04-28 10:48:09

标签: python-3.x

请求页面时,页面无法完全加载。在向下滚动页面时,页面“加载自身”。

我尝试使用此方法加载页面:

response = urllib.request.urlopen('url').read()

但这只会加载页面的头部,而不会在浏览器中向下滚动页面时加载内容。

如何完全加载页面?

1 个答案:

答案 0 :(得分:3)

您没有提供太多详细信息,也没有提供您所说的网址,因此我会尝试猜测您面临的问题(我确信它会触及您问题的核心):

  

您已经拥有整页,但却不知道。

尝试在互联网浏览器中加载您所拥有的内容,您很有可能会惊讶地看到"整个"页。

乍一看,事情往往不像他们一样......

HTML页面中充满了文本和图像,实际内容只不过是指向Javascript文件的链接。然后,您在Internet浏览器中看到的内容将从该脚本创建,必须执行该脚本才能创建您看到的页面。

获取完整的内容"在Internet浏览器中看到的页面,您必须模拟Internet浏览器的行为,并加载加载页面链接到的所有文件,并执行此页面中的所有Javascripts捕获其输出并执行Internet浏览器在运行时将执行的操作这些脚本。

上述事实使得网页设计人员可以阻止那些刚刚学会了如何编程获取网页内容的人,方法是在不使用互联网浏览器的情况下加载下载网页内容的URL。

要亲自了解一下,不要让您的互联网浏览器创建Cookie,执行脚本并加载任何其他内容,而不是您正在加载的页面的实际纯内容。