Question

我是scrapy的新手，我正试图抓住宜家网站的网页。基本页面，其中列出的位置为here。

我的 items.py 文件如下：

import scrapy


class IkeaItem(scrapy.Item):

    name = scrapy.Field()
    link = scrapy.Field()

蜘蛛如下：

import  scrapy
from ikea.items import IkeaItem
class IkeaSpider(scrapy.Spider):
    name = 'ikea'

    allowed_domains = ['http://www.ikea.com/']

    start_urls = ['http://www.ikea.com/']

    def parse(self, response):
        for sel in response.xpath('//tr/td/a'):
            item = IkeaItem()
            item['name'] = sel.xpath('a/text()').extract()
            item['link'] = sel.xpath('a/@href').extract()

            yield item

在运行文件时，我没有得到任何输出。 json文件输出类似于：

[[{"link": [], "name": []}

我要找的输出是位置和链接的名称。我一无所获。我哪里错了？

Answer 1

项目字段的xpath表达式中存在一个简单的错误。循环已经遍历a标记，您不需要在内部xpath表达式中指定a。换句话说，目前您正在a内a内的td标记内搜索tr个标记。这显然导致了什么。

将a/text()替换为text()，将a/@href替换为@href。

（测试 - 适合我）

Answer 2

使用这个......

    item['name'] = sel.xpath('//a/text()').extract()
    item['link'] = sel.xpath('//a/@href').extract()

Scrapy：提取链接和文本

2 个答案: