用于检查网页是否已更新的简单脚本

时间:2012-01-31 17:53:11

标签: bash web scrape

我正在网站上等待一些信息。我不想每小时检查一次。我想要一个脚本来为我这样做,并通知我这个网站是否已经更新了我正在寻找的关键字。

2 个答案:

答案 0 :(得分:10)

以下是一个基本的bash脚本,用于检查网页www.nba.com是否包含关键字Basketball。如果找到关键字,脚本将输出www.nba.com updated!,如果找不到关键字,脚本将等待10分钟并再次检查。

#!/bin/bash

while [ 1 ];
do
    count=`curl -s "www.nba.com" | grep -c "Basketball"`

    if [ "$count" != "0" ]
    then
       echo "www.nba.com updated!"
       exit 0   
    fi
    sleep 600   
done

我们不希望将网站或关键字硬编码到脚本中,我们可以通过以下更改来创建这些参数。

#!/bin/bash

while [ 1 ];
do
    count=`curl -s "$1" | grep -c "$2"`

    if [ "$count" != "0" ]
    then
       echo "$1 updated!"
       exit 0
    fi
    sleep 600
done

现在要运行脚本,我们将输入./testscript.sh www.nba.com Basketball。我们可以更改echo命令,让脚本发送电子邮件或任何其他首选通知方式。 注意我们应该检查参数是否有效。

答案 1 :(得分:0)

去配置谷歌提醒..

您还可以抓取网站并搜索您感兴趣的关键字。