按原样下载网页(python 3.x.x)

时间:2016-03-17 22:51:26

标签: python python-3.x urllib

我试图从文本文件中获取一些链接,然后将它们下载到我的计算机上。但是我希望那些下载的页面与浏览器中的页面完全相同。我下载的这些维基页面不一样,它们不会显示一些图片,而且只是当我打开它们时它只是文字。

我怎样才能实现我想要的东西,用scrapy和美丽的汤看到一些东西,但我不是exp

我的代码:

import urllib.request

links=[]
fr=open('wiki_linkovi','r')
fw1=open('imena_elemenata.txt', 'w')
link=fr.readlines()
j=0

for i in link:
    base='https://en.wikipedia.org/wiki/'
    start=i.find(base)+len(base)
    end=i.find('\n',start)
    ime=i[start:end]
    fw1.write(ime+'\n')

    response = urllib.request.urlopen(i) #save starts here-----
    webContent = response.read()
    f = open(ime+'.html', 'wb')

    f.write(webContent)
    f.close

    j=j+1
    print(str(j)+'. link\n')

所以是的,简而言之,我想完全下载网页

0 个答案:

没有答案