通过shell脚本获取网站的URL

时间:2013-03-25 19:39:33

标签: linux shell ubuntu wget

我正在尝试构建一个shell脚本,在执行时可以将网站的url获取到文本文件中,这样我就可以将该文本文件用作wget的输入

1 个答案:

答案 0 :(得分:0)

以下是Firefox的简单解决方案:

Firefox每次访问旧网址或新网址时都会更新places.sqlite数据库,即每次其中一个标签的其中一个位置栏发生变化时都会更新。

通过SQL查询此数据库非常容易。这是一个小脚本,它监视文件并将任何更改打印到控制台:

#!/usr/bin/env bash
places=$(find $HOME/.mozilla -name places.sqlite)

lastDate=0

warn(){
    echo "$*" > /dev/stderr
}

fail() {
    warn "$*"; exit 1
}

[ -f "$places" ] || fail "places.sqlite not found"

warn "starting to watch $places at time: $lastDate"

while sleep 1; do
    count=$(sqlite3 $places "select count(*) from moz_places where last_visit_date > '$lastDate'")
    if [ $count -gt 0 ]; then
        sqlite3 $places "select url from moz_places where last_visit_date > '$lastDate'"
        lastDate=$(echo "$(date +%s%N) / 1000" | bc)
    fi
done

如果您愿意,可以将输出重定向到文件:sh watchscript.sh > myfile.txt