Shell脚本下载所有网页?

时间:2014-04-19 14:57:19

标签: linux bash shell wget

我正在尝试从网站下载一系列网页。

URL的格式为:http://example.com/x其中x可以是number100的任何200

是否有任何可用的脚本可用于下载所有页面,范围从example.com/100example.com/200

3 个答案:

答案 0 :(得分:3)

for x in {100..200}; do
    wget "http://example.com/$x"
done

答案 1 :(得分:0)

如果您安装了curl,则可能需要使用相对有效的以下方式:

curl -O 'http://example.com/[100-200]'

(是的,我知道,curl非常酷!)。

答案 2 :(得分:0)

更快的版本不会冒错误报价打破更复杂的网址:

for x in {100..200}; do
    wget 'http://example.com/'"$x" &
done
wait