我正在尝试执行wget下载。
它下载了几千个文件,除非我开始限制文件类型(垃圾文件等)。从理论上讲,限制文件类型是可以的。
然而,有许多文件没有文件扩展名即可下载,例如,当用Adobe手动打开时,实际上是PDF文件。这些实际上是我想要的文件。
将wget限制为文件类型PDF不会下载这些文件。
到目前为止,我的语法是 wget -r --no-parent A.pdf www.websitehere.com
使用 wget -r --no-parent www.websitehere.com 为我带来了每种文件类型,所以理论上我拥有一切。但这意味着要删除1000个垃圾文件,然后重命名几百个未知文件类型的有用文件。
有关如何使用适当的文件扩展名来保存和保存文件的任何想法?
或者,一种方法是将wget限制为只有文件而不用文件扩展名,然后使用单独的批处理方法来确定文件类型并重命名?
手动测试每个文件以确定适当的应用程序将花费大量时间。
感谢任何帮助!
答案 0 :(得分:6)
wget
有一个--adjust-extension
选项,可以为HTML和CSS文件添加正确的扩展名。但是,其他文件(如PDF)可能无效。 See the complete documentation here