Question

我正在尝试使用scrapy下载仅限HTML的网站。我正在使用CrawlSpider类来实现这一目标。这是我的解析器的样子。我的抓取工具下载页面的HTML源代码并制作网站的本地镜像。它成功地反映了网站，但没有图像。要下载附加到每个页面的图像，我尝试添加：

def parse_link(self, response):
        # Download the source of the page

        # CODE HERE

        # Now search for images

        x = HtmlXPathSelector(response)
        imgs = x.select('//img/@src').extract()

        # Download images

        for i in imgs:
            r = Request(urljoin(response.url, i), callback=self.parse_link)
            # execute the request here

在Scrapy's Documentation的示例中，解析器似乎返回Request对象，然后执行该对象。

有没有办法手动执行请求，以便获得响应？我需要为每个parse_link调用执行多个请求。

Answer 1

您可以使用Images管道下载图片。或者，如果您想手动执行请求，请使用yield：

def parse_link(self, response):
    """Download the source of the page"""

    # CODE HERE

    item = my_loader.load_item()

    # Now search for images

    imgs = HtmlXPathSelector(response).select('//img/@src').extract()

    # Download images

    path = '/local/path/to/where/i/want/the/images/'
    item['path'] = path

    for i in imgs:
        image_src = i[0]
        item['images'].append(image_src)
        yield Request(urljoin(response.url, image_src),
                callback=self.parse_images,
                meta=dict(path=path))

    yield item

def parse_images(self, response):
    """Save images to disk"""

    path = response.meta.get('path')

    n = get_the_filename(response.url)
    f = open(path + n, 'wb')
    f.write(response.body)

如何在scrappy中手动执行Request对象？

1 个答案: