你会如何使用python自动从网站下载文件?

时间:2017-06-26 01:02:37

标签: python file download web-scraping

如何从此页面AWS Marketplace自动下载文件,我使用urllib使用python进行了尝试。

import urllib

testfile = urllib.URLopener()
testfile.retrieve("https://www.nseindia.com/products/content/historical/EQUITIES/2017/JUN?cm23JUN2017bhav.csv.zip8", "file.zip8")

即使这似乎不起作用我不知道为什么但你如何从这样的网站下载文件,将uri更改为文件,只需查看模式并使用添加代码,如上所述日期?为什么上面的代码不起作用?

1 个答案:

答案 0 :(得分:0)

您不需要使用urllib.URLopener(),只需使用urllib.urlretrieve()代替以下内容:

import urllib
urllib.urlretrieve("https://www.nseindia.com/products/content/historical/EQUITIES/2017/JUN?cm23JUN2017bhav.csv.zip8", "file.zip8")

您还可以使用wget

import wget
wget.download("https://www.nseindia.com/products/content/historical/EQUITIES/2017/JUN?cm23JUN2017bhav.csv.zip8", "file.zip8")

关于自动下载每天,您可以使用Windows调度程序,或使用loop如下:

import urllib
import time
while True:
    urllib.urlretrieve('file', 'file')
    time.sleep(86400) # 86400 seconds = 24 hours.