标签： python web-scraping scrapy reddit
如何在Reddit中刮取无限滚动页面并添加限制滚动？
URL: https://www.reddit.com/r/teslamotors/new/
我的目标是在首页中获得项目，但我只获得一些项目。
我尝试过的是使用开发人员工具并检查XHR，但是我采用的方法不同，无法在此处找到页面。
这就是我用来获取物品的东西。
response.xpath("//a[@class = 'b5szba-0 fMXvWW']/@href").getall()
请多多帮助您