Question

我以前习惯在linux终端上使用wget -r来下载带有某些扩展名的文件：

wget -r -A Ext URL

但现在我的讲师指派我使用PHP或Python做同样的事情。谁可以帮忙？

Answer 1

我想urllib对你很好

import urllib
urllib.urlretrieve (URL, file)

Answer 2

您可以使用PHP函数file_get_contents()来检索文档的内容。函数的第一个参数是filename，它可以是文件的本地路径或URL 请参阅PHP docs

中的示例

<?php
    $homepage = file_get_contents('http://www.example.com/');
    echo $homepage;
?>

Answer 3

或者，您可以使用Requests：请求是Python的唯一非GMO HTTP库，可供人类使用。

示例（来自doc）：

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}

Answer 4

对于Python，请使用网络爬虫库，例如scrapy。

它有classes在传递与wget命令行中的参数类似的参数时执行所有工作。

您可以使用scrapy pipelines过滤掉不需要的下载，并对下载进行增值，例如添加缩略图。

使用PHP / Python在url中下载特定文件

4 个答案: