在nutch 1.4中自动重新抓取网站?

时间:2012-08-23 07:23:26

标签: nutch web-crawler

我想每天重新抓取我的网站3次。我知道我应该为此编写一个脚本,但我不知道怎么做?我不知道如何运行脚本? 有人可以一步一步解释 感谢

1 个答案:

答案 0 :(得分:0)

编写一个shell脚本。可以使用以下结构:

  1. while loop
  2. ......用来调用nutch的命令
  3. ......睡几个小时
  4. 结束循环
  5. 使用nohup或屏幕会话运行此脚本。它会很棒!!