如何通过linux终端复制文件中的网页内容?

时间:2017-09-01 14:49:22

标签: linux

我想将一些文本从网页复制到Linux中的文件。我知道" wget"可以用来下载文件但我最喜欢的数据不存储在文件中,当我想要它们时,我必须手动使用复制和粘贴,这对于成千上万的网页来说非常困难。 例如,我需要在下面的链接中包含数据:

http://weather.uwyo.edu/cgi-bin/sounding?region=naconf&TYPE=TEXT%3ALIST&YEAR=2017&MONTH=09&FROM=0112&TO=0112&STNM=72672

和类似的链接,具有不同的YEAR,MONTH,FROM,TO,STNM值。 是否有自动复制和粘贴的命令/脚本?

1 个答案:

答案 0 :(得分:1)

首先,制作一个包含所有年,月,从,到和stnm的文件。每一行:

inputFile.txt:

2017,09,0112,0112,72672
2017,08,0112,0112,72672

在shell脚本中,逐行循环遍历该文件,并执行wget,用读取行填充的变量替换硬编码值:

#!/bin/bash
while IFS=, read -r year month from to stnm; do
  wget "http://weather.uwyo.edu/cgi-bin/sounding?region=naconf&TYPE=TEXT%3ALIST&YEAR=$year&MONTH=$month&FROM=$from&TO=$to&STNM=$stnm"
done < inputFile.txt

这是一个简单的版本,我确定它可以使用一些调整来启动和运行,但它应该很接近。

执行shell脚本:

bash whateveryounamedthisscript.sh

在此示例中,将生成两个新文件,一个用于九月,另一个用于八月。