我正在尝试使用Python 3.x从this page保存价格数据。
我希望我的脚本遍历Fund Provider下拉列表中的每个选项,然后将生成的表保存到本地文件中。
不幸的是,当我查看源代码时,似乎所有菜单选项和表数据都来自JSON文件,我不知道从哪里开始,因为我似乎无法从浏览器中读取文件。我知道如何使用urlretrieve,并将其用于简单的静态网页,但我的技能不够先进,无法导航复杂的多资源文档。
对于如何实现我的目标的任何建议都将非常感激。
答案 0 :(得分:2)
很抱歉对网址进行了错误的复制和粘贴。无论如何 - 我找到了解决方案。我需要做的是:
示例代码:
from urllib.request import urlretrieve
import urllib
url = 'http://www.example.com'
values = {'example_param1' : 'example value 1',
'example_param2' : 'example value 2'}
data = urllib.parse.urlencode(values)
data = data.encode('utf-8') # data should be bytes
save_path = save_root + fund_provider + '.json'
urlretrieve(url, save_path, data=data )