Question

我需要从网页下载适合文件。我正在使用-i wget选项执行此操作：我将下载文件存储在list.txt文件中，该文件包含URL1，URL2 ...然后

$ wget -i list.txt

你知道是否有可能使用python脚本做同样的事情？感谢。

Answer 1

假设您的文件每行包含一个网址，您可以执行以下操作：

import urllib2
with open('list.txt') as my_list:
    for line in my_list:
        response = urllib2.urlopen(line)
        html = response.read()
        # now process the page's source

Answer 2

如果您获得SSL：CERTIFICATE_VERIFY_FAILED：

import wget
import ssl

ssl._create_default_https_context = ssl._create_unverified_context
with open('list.txt') as my_list:
    for url in my_list:
        wget.download(url)

使用操作系统库：

import os

with open('list.txt') as my_list:
    for url in my_list:
        os.system('wget ' + url)

使用wget下载文件

3 个答案: