从指定的URL自动下载文件的脚本

Question

我正在尝试编写一个脚本，在包含下载链接（.mp3，.avi，.mpeg）的网站上搜索特定的MIME类型，并希望能够抓取该网站，然后下载存储在那里的所有文件。这个脚本的伪代码：

Input URL
function search ()
{
    Search URL for matching MIME types and download to dir on my pc
}

好的，那真的很糟糕，但我还在学习。 Perl脚本最适合这个吗？

Answer 1

查看wget命令。这是一个示例命令，它将递归搜索所有mp3，avi和mpeg文件的站点，并将它们保存到当前目录中：

wget -r -H -nd -N -np -A.mp3,.avi,.mpeg http://www.someurl.com

这就是选项的含义：

-r turns on recursive retrieving
-H Enable spanning across hosts when doing recursive retrieving.
-nd to save all files in a single directory
-N timestamping
-np Do not ever ascend to the parent directory when retrieving recursively.
-A file name suffixes to accept

您还可以为递归深度，超时等添加其他选项。有关详细信息，请参阅man wget。

Answer 2

是的，绝对会。看看模块WWW::Mechanize。