Scrapy没有刮取网址中的百分号

时间:2017-02-03 18:01:09

标签: python scrapy

尝试使用Scrapy刮取图像链接。

这是我正在抓的链接。

http://www.cars4sale.com/carimages/20TH%FEB%032.JPG

这是它保存在json文件中的方式。请注意,百分号已被空格替换。

http://www.cars4sale.com/carimages/20TH FEB 032.JPG

因此,当我显示此链接时,我收到404错误,因为链接错误。

如何让Scrapy刮掉百分号?

2 个答案:

答案 0 :(得分:1)

你可以使用

urllib.quote(urlWithSpaceInIt)

你不必对scrapy的东西做任何事情。在你去之前引用网址。

答案 1 :(得分:0)

好的,感谢您的评论,但我没有足够的经验来解决任何建议的方法,但他们帮助我找到适合我的最终代码。

事实证明,我之前没有注意到的是20%。

以下是我在JavaScript中为将%20添加到网址中所做的工作。

img src =" + data [i] .img.replace(/ | / g,"%20")