我想将一些文本从网页复制到Linux中的文件。我知道" wget"可以用来下载文件但我最喜欢的数据不存储在文件中,当我想要它们时,我必须手动使用复制和粘贴,这对于成千上万的网页来说非常困难。 例如,我需要在下面的链接中包含数据:
和类似的链接,具有不同的YEAR,MONTH,FROM,TO,STNM值。 是否有自动复制和粘贴的命令/脚本?
答案 0 :(得分:1)
首先,制作一个包含所有年,月,从,到和stnm的文件。每一行:
inputFile.txt:
2017,09,0112,0112,72672
2017,08,0112,0112,72672
在shell脚本中,逐行循环遍历该文件,并执行wget,用读取行填充的变量替换硬编码值:
#!/bin/bash
while IFS=, read -r year month from to stnm; do
wget "http://weather.uwyo.edu/cgi-bin/sounding?region=naconf&TYPE=TEXT%3ALIST&YEAR=$year&MONTH=$month&FROM=$from&TO=$to&STNM=$stnm"
done < inputFile.txt
这是一个简单的版本,我确定它可以使用一些调整来启动和运行,但它应该很接近。
执行shell脚本:
bash whateveryounamedthisscript.sh
在此示例中,将生成两个新文件,一个用于九月,另一个用于八月。