网址不变时进行网页抓取

Question

我正在为这样的亚马逊个人资料卖家进行网页抓取：https://www.amazon.es/sp?_encoding=UTF8&asin=B07KS22WVT&isAmazonFulfilled=1&isCBA=&marketplaceID=A1RKKUPIHCS9HS&orderID=&seller=A1KD8FXP0BE5W2&tab=&vasStoreID=

我正在使用PHP和Goutte。问题是，在注释部分中，当我单击“ Siguiente”（下一个）时，URL不变，并且我无法取消下一个注释。

我看到Goutte支持“点击链接”问题。我尝试过：

$link = $crawler->selectLink('Siguiente')->link();
$crawler = $client->click($link);

但是它不起作用。还有其他解决方案吗？

Answer 1

Goutte只能加载在服务器端呈现的页面（例如php）。在没有新页面加载的情况下进行的任何更改都可能是通过javascript完成的，不支持。您可以查看this question。最好使用phantomjs之类的东西来爬网，因为很多页面都依赖javascript。