Question

我正在尝试自动下载从数据库生成的一堆csv文件，这些文件基于在表单上选中的复选框。该网站只需点击“下载”按钮即可生成csv文件。我使用Firebug找到了下载提示的URL（并根据复选框选择确定了它的更改方式），但我不确定如何使用它，因为它是动态生成的，不包含文件路径。示例URL如下：

https://www.quantcast.com/download/plannerCSV?&d0Id=10&sc=1&mr=10000

这样做的最佳方法是什么？我查看了Python机械化模块并简要介绍了pydermonkey，但无法找到有关下载动态生成文件的文档。我还在other forums上找到了关于使用VBscript和Perl的一些建议 - 如果可能的话我更喜欢使用Python，因为我最熟悉它，但如果另一种语言更合适，我将学习我需要的东西以便完成这项任务 - 我只希望有效地完成这项任务！任何有此主题经验/知识/洞察力的人的评论将不胜感激。

Answer 1

执行此操作的最简单方法可能是使用命令行工具wget。如果运行UNIX / Linux它已经存在了。如果您运行的是Windows，则可以从http://gnuwin32.sourceforge.net/packages/wget.htm

下载Win32版本

您可以使用将为您下载文件的shell / batch脚本。

Windows示例：

set id=10
set sc=1
set mr=10000

set my_url=https://www.quantcast.com/download/plannerCSV?&d0Id=%id%&sc=%sc%&mr=%mr%
set filename=planner.csv

wget %my_url% --output-document=%filename%

:
: do stuff with file
:

自动下载由http请求动态生成的文件

1 个答案: