如何使用python urllib库打开URL地址中包含变量的网页?

时间:2019-01-13 23:32:46

标签: python web web-crawler

这是我的代码:

输入您要查找的年份和文件类型

year = input('What year is the master index you are looking for?\n')
file = input('What form are you looking for?\n')
import urllib.request
index_url = urllib.request.urlopen('https://www.sec.gov/Archives/edgar/full-index/%s/QTR2/master.idx'%(year))

这会打开与我指定为变量的年份相对应的网页吗?

谢谢您的帮助!

1 个答案:

答案 0 :(得分:0)

如果要下载文件并在脚本中对其进行操作,则可能需要执行以下操作……

import requests
year = input('What year is the master index you are looking for?\n')
url = 'https://www.sec.gov/Archives/edgar/full-index/%s/QTR2/master.idx' % year
resp = requests.get(url)
print(resp.text)

这将获取构造的URL并打印返回内容的内容。我在这里使用请求而不是urllib,这是当今大多数人喜欢使用的方法,因为它非常简单易用,还具有Python 2和3的功能,您可以通过PyPi安装它,例如pip install requests