打开时保存的网页不显示任何内容

时间:2016-07-06 08:14:11

标签: python html save web-crawler

我使用python抓取网页并保存。代码工作正常。但是当我打开网页时,它只显示网站名称,即 http://www.indiabix.com ,而不是实际内容。

您可以访问该网站并保存其中一个页面主页,但保存其他网页,例如 http://www.indiabix.com/database/questions-and-answers/ 。当你打开它时,页面只显示了这个

enter image description here

而不是这个

enter image description here

我写的代码很简单

def writeToFile(link, name, title):
    response = urllib2.urlopen(link)
    webContent = response.read()
    f = open(name + '/' + title, 'w')
    f.write(webContent)
    f.close

您只需传递链接,目录名称和文件标题。

我已经检查过Chrome,Firefox和Safari,并且都显示相同的输出。如何解决此问题以完全显示整个保存的页面。

谢谢。

3 个答案:

答案 0 :(得分:0)

你可以简化这样的事情。 Install requests

import os
import requests

def write_to_file(link, name, title):
    with open(os.path.join(name, title), "w") as fp: 
        fp.write(requests.get(link).content)

答案 1 :(得分:0)

这是不可能的。您可以通过右键单击网页并保存完整的Web文件来进行实验。然后使用浏览器打开.htm文件,您将得到相同的结果。当您检查页面时,您可以看到有一些错误(找不到文件)。所以我认为这个网页有一些错误。

enter image description here

答案 2 :(得分:0)

在浏览器中禁用Javascript并将其打开。