使用javascript链接点击事件抓取到下一页

Question

我正在为像这样的分页风格的网站编写一个抓取工具

  

首先|上一页| 1 | 2 | 3 | 4 | 5 |最后

现在上面的所有链接（2已被点击，如此粗体）都有href =“＃”但是onclick事件会导致一个非常繁琐的＆amp;不可思议的JavaScript代码。所以，我想到的迭代会让我的抓取工具抓取所有页面就像这样

1. 加载开始网址
2. 抓取内容

3. 从PHP代码执行Javascript onclick事件。执行如下：

     

   document.getElementById（“下一页的＆lt; a＆gt;标签的ID”）。click（）;

   以上内容将加载下一页。

4. 返回步骤（2）并重复直到下一页链接耗尽（例如，最后左侧没有看不见的链接）

进行抓取是否有意义，或者有更好的方法来遍历网页？