从网站下载文件以解析

时间:2015-06-18 14:38:01

标签: python download downloading

所以我正在开发一个使用

数据的python应用程序

http://censtats.census.gov/cgi-bin/cbpnaic/cbpsect.pl

我已经创建了一个解析器,可以从.txt文件中解析我需要的数据,您可以从页面底部的每个数据集中下载这些文件。但是,我想让它变得动态,以便它可以用于任何数据集,而不仅仅是我下载的数据集。反正我是否可以使用python从网站上获取文本文件?文件以相同的名称下载,所以我对如何做到这一点毫无头绪。

按钮的html代码:

    <form method=post action=/cgi-bin/cbpnaic/cbpsect.txt>
<input name=Year value=2013 type=hidden><input name=County value=017 type=hidden><input name=State value=38 type=hidden><input name=Noise value=YES type=hidden><input name=LFO value=YES type=hidden><input type=submit value="Save as text file.">
</form>

1 个答案:

答案 0 :(得分:1)

当然有可能。这需要一点工作:

  1. 请查看urllib3从互联网下载内容。 (有点容易使用,但不是基础Python,是requests library)。
  2. 当使用POST http命令请求文件时,请检查您引用的页面的HTML源代码,以查看必须在POST命令中发送哪些参数以获取所需页面(提示,它位于{{1}之间例如,您需要将<form>添加到POST查询中以获取爱荷华州的数据。
  3. 在1.的下载命令中,您可以指定要保存的文件的名称,您可以使用参数2来构建。