获取下一页url scrapy

时间:2016-09-04 14:21:12

标签: web-scraping scrapy

从像这样的网址列表:

<a href="?resultpage=3&amp;p_department=RL&amp;propertyAddress=&amp;propertyType=&amp;minimumBedrooms=&amp;maximumBedrooms=&amp;minimumPrice=&amp;minimumRentFrequency=pcm&amp;maximumPrice=&amp;maximumRentFrequency=pcm">3</a>

<a href="?resultpage=2&amp;p_department=RL&amp;propertyAddress=&amp;propertyType=&amp;minimumBedrooms=&amp;maximumBedrooms=&amp;minimumPrice=&amp;minimumRentFrequency=pcm&amp;maximumPrice=&amp;maximumRentFrequency=pcm" title="Next">Next &gt;</a>

我怎样才能获得具有属性的那个:title =“Next”&gt; Next?

使用:

//@href

值“title =”下一步“&gt;下一步”丢失,因此无法使用过滤网址。

1 个答案:

答案 0 :(得分:1)

response.xpath("//a[@title='Next']/@href").extract_first()