下载wget和grep结合使用

Question

我想下载一个wget的网站，然后我想使用命令grep从网站中提取一个特定的链接，然后我想下载这个＆＃34; grepped＆＃34;再次与wget链接。

我的尝试：

wget -O website https://www.testwebsite.com/dir/site |
grep -E 'https://testwebsite.com/downloads/picture1' | wget -O myPicture

问题是，它正在下载testwebsite.com/dir/site但是没有提取链接并下载它。

Answer 1

尝试最后一个wget上的-i - parametars来读取stdin中的链接。第一个wget也应输出到-O -

的stdout

E.g。

wget -O - https://testwebsite.com | grep abcd | wget -i - -O outfile

Answer 2

wget有一个递归工具。您可以使用-r：

调用它

wget -r 'https://testwebsite.com'

（这适用于html中包含的链接）

可以使用-l设置递归深度，请参阅man wget。