如何使用wget解决“无效的URL http://:无效的主机名”

时间:2019-08-13 16:02:32

标签: web-scraping wget

我正在尝试使用wget从存储库下载PDF。我有一个URL列表,该URL已保存到要馈送到wget的文本文件中。

文本文件中的示例URL:

https://digitalscholarship.unlv.edu/cgi/viewcontent.cgi?article=3849&context=thesesdissertations

返回错误:

无效的URL http://:无效的主机名

示例命令:

wget -i etd_engineering_list.txt

目标是下载位于etd_engineering_list.txt文件内URL的所有PDF。

1 个答案:

答案 0 :(得分:0)

这是应该执行此操作的简单bash脚本。

#!/bin/bash
input="./etd_engineering_list.txt"
while IFS= read -r line
do
  wget "$line"
done < "$input"

根据此处的示例1