最近我需要检查一个巨大的文件名列表(如果它们存在于服务器上)。我通过运行for
循环来尝试wget
每个文件。这足够有效,但在这种情况下花了大约30分钟。我想知道是否有更快的方法来检查文件是否存在(因为wget是用于下载文件而不是执行数千个请求)。
我不知道这些信息是否相关,但它是一个Apache服务器。
答案 0 :(得分:0)
Curl将是for循环的最佳选择,这是一个简单直接的方法,在你的forloop中运行
python appcfg.py update --oauth2 /path/to/app
这只是检查链接上返回的404的http响应标头,如果检测到丢失的文件/链接抛出404,那么命令行输出将显示数字1;否则,如果文件/链接有效且未返回404,则命令行输出将显示数字0.