使用wget抓取网站上的下载链接

时间:2018-12-03 21:32:21

标签: amazon-s3 wget gnu

我有一个网站,我试图从wget抓取所有.PSD文件。这是一个WordPress网站,结构足够简单。这些下载使用的是类似于Easy Digital Downloads的数字,因此所有产品都位于一个URL目录下。

我遇到的问题是该产品未托管在站点上,而是实际上托管在Amazon S3上。因此,网站上的下载链接会打开来自Amazon S3的下载链接,然后下载文件。

问题: 我该如何使用wget来

1。 从S3存储桶中删除文件。

2。 抓取网站并从网站上的s3.amazonaws.com链接下载所有.psd文件。

0 个答案:

没有答案