Question

我已经使用pip安装了scrapy并尝试了scrapy文档中的示例。

我收到错误cannot import name xmlrpc_client

查看stachoverflow问题后here 我已经使用

修复了它

sudo pip uninstall scrapy

sudo pip install scrapy==0.24.2

但现在它显示了exceptions.AttributeError: 'HtmlResponse' object has no attribute 'urljoin'

这是我的代码：

import scrapy


class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['https://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        for href in response.css('.question-summary h3 a::attr(href)'):
            full_url = response.urljoin(href.extract())
            yield scrapy.Request(full_url, callback=self.parse_question)

    def parse_question(self, response):
        yield {
            'title': response.css('h1 a::text').extract()[0],
            'votes': response.css('.question .vote-count-post::text').extract()[0],
            'body': response.css('.question .post-text').extract()[0],
            'tags': response.css('.question .post-tag::text').extract(),
            'link': response.url,
        }

任何人都可以帮助我！

Answer 1

在Scrapy＆gt; = 0.24.2 中，HtmlResponse类还没有urljoin()方法。直接使用http://jsfiddle.net/b5jk1d6k/：

full_url = urlparse.urljoin(response.url, href.extract())

不要忘记导入它：

import urlparse

请注意，Scrapy 1.0中添加了urljoin()别名/帮助程序，这是相关问题：

urlparse.urljoin()

这是Add Response.urljoin() helper：

from six.moves.urllib.parse import urljoin

def urljoin(self, url):
    """Join this Response's url with a possible relative url to form an
    absolute interpretation of the latter."""
    return urljoin(self.url, url)

Answer 2

您使用的示例代码是scrapy 1.0。由于您已将其降级为0.24，因此您需要使用urljoin中的urlparse：

full_url = urljoin(response.url, href.extract())

如果单击示例上方的“Scrapy 0.24（旧稳定版）”按钮，您将获得正在使用的scrapy版本的示例代码。

Scrapy错误：exceptions.AttributeError：'HtmlResponse'对象没有属性'urljoin'

2 个答案: