如何从URL保存许多CSV文件

时间:2014-01-21 22:02:15

标签: python url csv

我需要从网址获取许多CSV文件。我找到了这个参考:How to read a CSV file from a URL with Python?

它几乎是我想要的东西,但我不想通过Python来读取CSV然后必须保存它。我只是想直接将CSV文件从URL保存到我的硬盘。

我没有问题for循环和循环浏览我的网址。这只是保存CSV文件的问题。

1 个答案:

答案 0 :(得分:1)

如果您只想保存csv,那么我根本不建议使用python。事实上,这更像是一个unix问题。假设您正在使用某种* nix系统,我建议您使用wget。例如:

wget http://someurl/path/to/file.csv

您可以直接从python运行此命令,如下所示:

import subprocess
bashCommand = lambda url, filename: "wget -O %s.csv %s" % (filename, url)
save_locations = {'http://someurl/path/to/file.csv': 'test.csv'}
for url, filename in save_locations.items():
    process = subprocess.Popen(bashCommand(url, filename).split(), stdout=subprocess.PIPE)
    output = process.communicate()[0]