Question

我想打开许多网址（我打开一个网址，搜索此网站上的所有链接，并打开它们或从此墨水下载图像等）。首先，我想检查网址是否正确，因此我使用了if语句：

if not urlparse.urlparse(link).netloc:
 return 'broken url'

但是我注意到有些值没有通过这个声明。当链接看起来像//b.thumbs.redditmedia.com/7pTYj4rOii6CkkEC.jpg时，我遇到了一个网站，但是我遇到了错误： ValueError: unknown url type: //b.thumbs.redditmedia.com/7pTYj4rOii6CkkEC.jpg，但我的if语句没有抓住这一点。如果网址运行良好，我该如何更准确地检查？

Answer 1

如果您对所使用的库没有具体说明，可以执行以下操作：

import urllib2
import re

def is_fully_alive(url, live_check = False):
    try:
        if not urllib2.urlparse.urlparse(url).netloc:
            return False

        website = urllib2.urlopen(url)
        html = website.read()

        if website.code != 200 :
            return False

        # Get all the links
        for link in re.findall('"((http|ftp)s?://.*?)"', html):
            url = link[0]

            if not urllib2.urlparse.urlparse(url).netloc:
                return False

            if live_check:
                website = urllib2.urlopen(url)

                if website.code != 200:
                    print "Failed link : ", url
                    return False

    except Exception, e:
        print "Errored while attempting to validate link : ", url
        print e
        return False

    return True

检查你的网址：

>>> is_fully_alive("http://www.google.com")
True

打开每一个链接进行检查：

# Takes some time depending on your net speed and no. of links in the page
>>> is_fully_alive("http://www.google.com", True) 
True

检查无效网址：

>>> is_fully_alive("//www.google.com")
Errored while attempting to validate link :  //www.google.com
unknown url type: //www.google.com
False

Answer 2

非常简单：

import urllib2

def valid_url(url):
    try:
        urllib2.urlopen(url)
        return True
    except Exception, e:
        return False

print valid_url('//b.thumbs.redditmedia.com/7pTYj4rOii6CkkEC.jpg') # False
print valid_url('http://stackoverflow.com/questions/25069947/check-if-the-url-link-is-correct') # True

您还可以通过

阅读整个文档

urllib2.urlopen(url).read()

通常，如果要从HTML文档下载所有图像，可以执行以下操作：

for link, img in re.findall('http.?:\/\/b\.thumbs\.redditmedia\.com\/(\w+?\.(?:jpg|png|gif))', load(url)):
    if not os.path.exists(img):
        with open(img, 'w') as f:
            f.write(link)

检查网址链接是否正确

2 个答案: