我试图从文本文件中获取一些链接,然后将它们下载到我的计算机上。但是我希望那些下载的页面与浏览器中的页面完全相同。我下载的这些维基页面不一样,它们不会显示一些图片,而且只是当我打开它们时它只是文字。
我怎样才能实现我想要的东西,用scrapy和美丽的汤看到一些东西,但我不是exp
我的代码:
import urllib.request
links=[]
fr=open('wiki_linkovi','r')
fw1=open('imena_elemenata.txt', 'w')
link=fr.readlines()
j=0
for i in link:
base='https://en.wikipedia.org/wiki/'
start=i.find(base)+len(base)
end=i.find('\n',start)
ime=i[start:end]
fw1.write(ime+'\n')
response = urllib.request.urlopen(i) #save starts here-----
webContent = response.read()
f = open(ime+'.html', 'wb')
f.write(webContent)
f.close
j=j+1
print(str(j)+'. link\n')
所以是的,简而言之,我想完全下载网页