下一页不整洁，没有意义

Question

相信您一切都好！

我正在抓取一些网页，当我尝试转到下一页时，我将无法浏览，因为下一页会显示结果，因此与我在第一页中查找的内容无关。

一个例子： 拳头页面查找：https://www.mister-auto.es/buscar/?q=corteco 第二页：https://www.mister-auto.es/buscar/?page=2

我遇到的问题是，第二个结果与我要查找的内容没有任何意义。

我正在使用带有链接提取器的crawlspider转到下一个。 你能帮我一下吗？ 非常感谢您的支持。

Answer 1

您要抓取的网站是动态的，并且当您更改页面时，它不会反映在URL中。

您想要的是Puppeteer或Selenium之类的工具来动态呈现页面，单击按钮并提取所需的内容。虽然Scrapy对于某些工作来说是一个很好的工具，但它也有其局限性。