使用Python 3.X从网站/服务器下载CSV文件

时间:2016-01-01 18:32:19

标签: python csv python-3.x urllib

在这里编程初学者。因此,对于我的第一个项目,我能够制作一个快速的python脚本,从该网站下载文件: http://www.wesm.ph/inner.php/downloads/market_prices_&_schedules

我注意到了待下载文件的链接地址 遵循一种模式 (http://wesm.ph/admin/downloads/download.php?download=../csv/mpas/XXXXX/XXXX.csv

通过一些字符串连接并使用datetime模块,我能够创建csv文件的HTML字符串。之后,我只会使用:

urllib.request.urlopen(HTMLlink).read()

并用以下内容保存:

with open('output.csv', "w", newline='') as f:
    writer = csv.writer(f)
    writer.writerows(fullList)

它曾经工作 - 现在却没有。我注意到,每当我点击“生成报告”按钮然后运行脚本时,脚本就会生成输出文件。我不确定为什么会这样。有没有办法向他们的服务器发送请求以生成实际文件?我应该使用哪个模块或命令?

1 个答案:

答案 0 :(得分:1)

点击“生成报告”后,这些文件很可能只是临时存储在该网络服务器上。

为了获得新的内容,甚至可能会检查(使用Cookie,使用Cookie,会话ID),以查看是否从人或机器人那里询问了新链接/文件的生成。 / p>

您可能还想检查HTTP返回代码(甚至是完整返回的标头,以查看服务器正在回答的内容)。