如何使用python每隔几秒从网页下载内容?

时间:2012-05-08 15:57:44

标签: python web-crawler

我的网址为www.someurl.com/blah.xml

我想编写一个python脚本,该脚本转到该URL,获取其内容,并将其保存到本地硬盘上的文件中。不知道最好的方法是什么,或者是否有任何推荐的库是这类事情所必需的。

1 个答案:

答案 0 :(得分:1)

这样的事情:

import urllib2 as urllib

page = urllib.urlopen('http://www.someurl.com/blah.xml')
with open('output.xml', 'w') as f:
  f.write(page.read())

然后你可以做一个每五分钟运行一次的cron工作。在终端上,键入crontab -e并创建一行说明:

*/5 * * * * python path/to/script.py

我不是crontabs的专家,所以如果我错了,有人会纠正。