response.urljoin()上的错误 - “不能混合字符串和非字符串参数。”

时间:2017-10-30 09:59:18

标签: scrapy scrapy-spider

在解压缩href属性后使用response.urljoin()函数时收到错误消息:

next_page = response.urljoin(href_attribute)

它说

  

不能混合字符串和非字符串参数

知道可能出现什么问题以及如何解决这个问题?

1 个答案:

答案 0 :(得分:0)

next_page = response.css('li.next a::attr(href)').get()
if next_page is not None:
  next_page = response.urljoin(next_page)
  yield scrapy.Request(next_page, callback=self.parse)