拒绝对请求URL的访问时，抓取无限滚动页面

Question

以下零售商产品页面具有无限滚动，可从我无法访问的URL请求数据：

https://www.aldoshoes.com/uk/en_UK/men/holiday-party-style

一旦单击“查看全部”，开发人员工具将指出一个URL，该URL无法显示任何产品数据并给出“不受支持的品牌”错误：

https://www.aldoshoes.com/api/products/category/72050?currentPage=1&filters=&lang=en_UK&maxFilters=6&pageSize=17&region=uk&sort=relevance

我想知道是否可以通过Scrapy访问所有产品数据而无需使用硒。

谢谢。

Answer 1

如果使用浏览器开发人员工具查看“查看全部”时发出的HTTP请求，您会注意到请求标头包含一些特定于应用程序的标头：

x-aldo-region: uk
x-aldo-lang: en_UK
x-aldo-brand: aldoshoes
x-forwarded-akamai-edgescape: undefined
x-aldo-ssr-request-id: 
x-aldo-api-version: 2

尝试在您的请求中包含这些标头。