使用scrapy的items.py和嵌套的xml标签

Question

我正在尝试使用scrapy在items.py中定义项目，而某些标记具有可变数量的嵌套元素。我不确定如何在items.py示例中表示这一点：

item2.xml

<sponsors>
    <sponsor>
        foo
    </sponsor>
</sponsors>

item2.xml

<sponsors>
    <sponsor>
        foo
    </sponsor>
    <sponsor>
        bar
    </sponsor>
</sponsors>

Answer 1

Scrapy的项目字段不会强制您使用任何特定格式。你可以定义它：

class YourItem(Item):
    sponsors = Field()

只需使用一个列表：

item['sponsors'] = xpath.select('//sponsors/sponsor/text()').extract()