如何在scrapy中获取div中的<p>标签数量?

时间:2015-09-29 05:03:27

标签: python xpath web-scraping scrapy

我正在抓取这个网站link

<p>标签的最后一个包含user_info,因为我在使用它时会给我带来问题 -

''.join(response.xpath('//div[@class="entry-content"]/p[2]/text()').extract())

p[2]如果上面的文字数量很多,则会发生变化。在这里说它是p[5]

我正在考虑这个问题来计算<p>div个代码的数量并将数字分配给我的item

如何处理这个问题?

2 个答案:

答案 0 :(得分:3)

根据我的理解,这只是条目内容中的最后一段 - 您可以使用last()

//div[@class="entry-content"]/p[last()]/text()

适合我。

答案 1 :(得分:2)

如果您只想计算p元素

len(response.xpath('//div[@class="entry-content"]/p'))