Python 3,如何使用Python从本页保存数据?

时间:2014-02-15 19:34:41

标签: python urllib

我正在尝试使用Python 3.x从this page保存价格数据。

我希望我的脚本遍历Fund Provider下拉列表中的每个选项,然后将生成的表保存到本地文件中。

不幸的是,当我查看源代码时,似乎所有菜单选项和表数据都来自JSON文件,我不知道从哪里开始,因为我似乎无法从浏览器中读取文件。我知道如何使用urlretrieve,并将其用于简单的静态网页,但我的技能不够先进,无法导航复杂的多资源文档。

对于如何实现我的目标的任何建议都将非常感激。

1 个答案:

答案 0 :(得分:2)

很抱歉对网址进行了错误的复制和粘贴。无论如何 - 我找到了解决方案。我需要做的是:

  • 使用Firebug(Firebug的扩展名)来识别json文件的位置以及发布的信息。
  • 然后使用urlretrieve下载数据,包括每个请求的发布信息

示例代码:

from urllib.request import urlretrieve
import urllib

url   = 'http://www.example.com'
values = {'example_param1' : 'example value 1',
          'example_param2' : 'example value 2'}

data = urllib.parse.urlencode(values)
data = data.encode('utf-8') # data should be bytes

save_path = save_root + fund_provider + '.json'
urlretrieve(url, save_path, data=data )