如何提取所有分页链接

时间:2018-08-30 08:47:58

标签: python web-scraping scrapy

我是scrapy的新手,所以我想问一下如何提取分页链接上的所有数据。因为我已经在代码中创建了它,但是它只提取了我提取的每个链接中的一两个项目。这是我的代码:

<?xml version="1.0"?>
<!-- Created with Liquid Studio 2018 (https://www.liquid-technologies.com) -->
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema">
    <xs:element name="DataEXP">
        <xs:complexType>
            <xs:sequence>
                <xs:element name="Item">
                    <xs:complexType>
                        <xs:sequence>
                            <xs:element name="ID"/>
                            <xs:element name="name"/>
                            <xs:element name="attributes">
                                <xs:complexType>
                                    <xs:sequence>
                                        <xs:element name="attribute">
                                            <xs:complexType>
                                                <xs:sequence>
                                                  <xs:element name="name"/>
                                                  <xs:element name="values">
                                                    <xs:complexType>
                                                      <xs:sequence>
                                                        <xs:element maxOccurs="unbounded" name="value"/>
                                                      </xs:sequence>
                                                    </xs:complexType>
                                                  </xs:element>
                                                </xs:sequence>
                                            </xs:complexType>
                                        </xs:element>
                                    </xs:sequence>
                                </xs:complexType>
                            </xs:element>
                        </xs:sequence>
                    </xs:complexType>
                </xs:element>
            </xs:sequence>
        </xs:complexType>
    </xs:element>
</xs:schema>

当我抓取时,它只会在我提取的每个链接中显示一个或两个。是否应在深度设置中添加规则?

0 个答案:

没有答案