打开多个网页,使用wget并合并输出

时间:2014-09-25 10:57:24

标签: linux

我有一个包含大量网页的文本文件:

http://rest.kegg.jp/link/pathway/7603
http://rest.kegg.jp/link/pathway/5620
…

我的目标是将这些页面上的所有信息下载到单个文本文件中。

以下工作完美但它给了我3000多个文本文件,我怎么能在循环中简单地合并所有输出文件。

while read i; do wget $i; done < urls.txt

非常感谢

1 个答案:

答案 0 :(得分:1)

使用-O file选项,将输出附加到指定的日志文件。

while read i; do wget -O outputFile $i; done < urls.txt

outputFile也将包含内容

您也可以通过使用while

指定输入文件来跳过-i file循环
wget -O outpuFile -i url.txt