以编程方式下载大量<insert file =“”type =“”here =“”> </insert>

Question

我想知道是否有一种简单的方法可以下载大量任意类型的文件，例如下载10,000个XML文件。在过去，我使用过Bing的API。它是免费的，并提供无限的查询。但是，它没有像谷歌那样索引尽可能多的文件类型。 Google会对XML文件，CSV文件和KML文件编制索引。 （这些都可以通过像“filetype：XML”这样的搜索找到。）据我所知，Bing并没有以易于搜索的方式对这些进行索引。是否有其他具有这些功能的API？

Answer 1

如何使用wget？您可以为wget提供一个网址（例如，谷歌搜索结果）并告诉它关注该网页上的所有链接并下载它们（我打赌您也可以给它一个过滤器）。

刚试了一下，得到了ERROR 403: Forbidden.显然谷歌会阻止来自Wget的请求。您必须提供不同的用户代理。快速搜索提供了这个例子：

http://www.mail-archive.com/wget@sunsite.dk/msg06564.html

然后它与给出的例子一起工作。