标签： web-scraping web-crawler puppeteer
我正在从某个电子商务网站上抓取产品，但我不知道为什么后续请求的次数持续增加。是由于速率限制吗？但是如果是这样，为什么请求时间之间没有明显的陡峭变化？
https://docs.google.com/spreadsheets/d/e/2PACX-1vTz-483uB3Bew_Bdhtsp9p_q5IsUBNR_LYrl7c-DmxbEGuMo3zBbmh84zJn7WWn8ZT3Bm1xqaMYfFXJ/pubchart?oid=506546153&format=interactive
我试图同时从其他浏览器浏览该网站，并且一切都以正常速度加载。
after
每页应以大约100个首页的速度加载，即<2秒