Bash脚本以特定字符开头的wget url

时间:2018-09-08 14:39:54

标签: bash wildcard wget

我有一个URL $(document).ready(function(){ $('form').on('submit', function (e) { e.preventDefault(); $.ajax({ type: 'post', url: 'data/addtext.php', dataType: 'HTML', success: function (result) { // This should work for you $('#meo').html($('#meo').html() + result); } }); }); }); ,其中包含许多子目录,这些子目录包含我要保存的文件。因为它的尺寸很大,所以我想分部分进行该操作

例如从以A开头的子目录中下载所有内容

http://example.com/dir

我创建了以下脚本

http://example.com/A
http://example.com/Aa
http://example.com/Ab
etc

但它尝试仅下载#!/bin/bash for g in A B C do wget -e robots=off -r -nc -np -R "index.html*" http://example.com/$g done 而不下载http://example.com/A

1 个答案:

答案 0 :(得分:0)

查看此页面,您需要了解的所有信息:

https://www.gnu.org/software/wget/manual/wget.html

1),您可以使用:

--spider -nd -r -o outputfile <domain>

它不下载文件,它只是检查文件是否存在。 -nd阻止wget在本地创建目录 -r解析整个网站 -o outputfile将输出发送到文件

获取要下载的URL列表。

2),然后解析输出文件以提取文件,并创建要下载的链接的较小列表。

3),然后使用-i file(== --input-file=file)下载每个列表,从而限制一次执行wget时下载的数量。 / p>

注意: ---limit-rate=amount可用于减慢下载速度,以节省Internet链接!