Scrapy utf8编码

时间:2017-10-29 11:34:23

标签: python unicode scrapy

我正在使用 Scrapy 加入 Python2.7 来执行某些任务,但我处理的问题与西班牙语字符类似口音和ñ。问题是我做了一个如下的反应:

response.xpath("//*[contains(@id, 'content')]").css('table').css('tr').css('a')

然后返回以下行:

u'<a href="/C\xf3digo/7">/C\xf3digo/7</a>'

我需要href的内容转到下一页,但格式不正确,Scrapy无法提出请求。

我在文件开头添加了# - - coding:utf-8 - - ,我尝试使用 .decode('utf- 8')但它不起作用。有人有这个问题,知道如何解决它?我非常感谢你的帮助。

问候。

1 个答案:

答案 0 :(得分:0)

感谢@Jon Clements,我解决了这个问题。问题是我没有传递提取的hrefs。解决方案是:

response.xpath("//*[contains(@id, 'content')]").css('table').css('tr').css('a::attr(href)')