Scrapy + Splash无法抓取页面上的所有项目

Question

我想从此页面Shopee抓取项目。该网站使用javascript，因此我必须使用Splash才能在获取商品之前呈现页面。页面上有50个项目，但Scrapy仅返回15。有人知道该问题的原因和解决方案吗？我已经在下面附上了我的代码

start_urls = [
              "https://shopee.vn/Trang-diem-da-cat.160.1913",
             ]

def start_requests(self):
    for url in self.start_urls:
        yield SplashRequest(url=url, callback=self.parse, args={'wait': 10, })

def parse(self, response):
    product_links = response.xpath('//div[@class="col-xs-2-4 shopee-search-item-result__item"]/a/@href').extract()
    print(len(product_links))

从scrapy_splash导入SplashRequest

ShopeeSpider（scrapy.Spider）类：     名称='shopee'

Instant