从网页提取所有图像的脚本

时间:2019-02-17 22:41:18

标签: python python-3.x beautifulsoup

我正在尝试使用以下代码从网页提取所有图像,但出现错误“ Nonetype”对象没有属性“ group”。有人可以告诉我这里是什么问题吗?

import re
import requests
from bs4 import BeautifulSoup

site = 'http://pixabay.com'

response = requests.get(site)

soup = BeautifulSoup(response.text, 'html.parser')
img_tags = soup.find_all('img')

urls = [img['src'] for img in img_tags]


for url in urls:
    filename = re.search(r'/([\w_-]+[.](jpg|gif|png))$', url)
    with open(filename.group(1), 'wb') as f:
        if 'http' not in url:
            # sometimes an image source can be relative 
            # if it is provide the base url which also happens 
            # to be the site variable atm. 
            url = '{}{}'.format(site, url)
        response = requests.get(url)
        f.write(response.content)

1 个答案:

答案 0 :(得分:0)

编辑:对于上下文,由于原始问题已由其他人更新,并且更改了原始代码,因此用户使用的原始模式为r'/([\w_-]+.)$'。这是原始问题。此上下文将使以下答案更有意义:

我采用了r'/([\w_.-]+)$'之类的模式。您使用的模式不允许路径包含.,除了作为最后一个字符外,因为.之外的[]表示任何字符,并且您在{{1 }}(字符串的结尾)。因此,我将$移到了.中,这意味着在字符组中允许使用文字[]。这样,该模式就可以在URL的末尾捕获图像文件名。

.