Question

我正在抓取一个网页，并且我打算在每个网页中粘贴自己定义的表格中的每个相关元素的数量不确定。但是，如何动态创建scrapy.Field()元素来解决此问题？还是不需要或？

示例

为简单起见，假设我要抓取随机人群的个人资料页面。其中有些人养宠物，有些则没有。有些有数吨的宠物，其他的只有一只。我该如何处理？如何动态创建所需的pet个字段？

name = scrapy.Field()
age = scrapy.Field()
height = scrapy.Field()
pet = scrapy.Field()
# pet1 = scrapy.Field()
# pet2 = scrapy.Field()
# continues indefinitely

Answer 1

创建两种商品类型：

class Person(scrapy.Item):
    name = scrapy.Field()
    age = scrapy.Field()
    height = scrapy.Field()

class Pet(scrapy.Item):
    name = scrapy.Field()
    pet = scrapy.Field()

然后，每个Person都可以创建多个Pet

不确定的字段数

1 个答案: