Python - 如何让Web scraper连续运行?

时间:2013-12-26 03:31:39

标签: python flask web-scraping

我编写了一个python脚本来登录网站,收集信息然后将其作为json保存在数据库中(MongoDB)

如何让它每隔30分钟或2小时运行一次?

注意:我计划在部署时使用Flask。

2 个答案:

答案 0 :(得分:1)

如果你使用linux或unix,你可以使用crontab, 只是:

chmod +x /path/to/your/script
crontab -e
# and then add 
0,30 * * * * /path/to/your/script  # every 30min
# or 0 0-23/2 * * * /path/to/your/script  # every 2 hours
# save out

答案 1 :(得分:0)

使用time.sleep(seconds)功能。

例如,这将每30分钟打印一次Hey

import time
while True:
    print 'Hey'
    time.sleep(1800)

注意:1800秒是30分钟