使用javascript提取Google搜索结果（超过10个）

Question

我必须使用JavaScript在Google响应的第一页之后获取可用的Google搜索结果。 我的用例是获取多个Google搜索结果中所有可用的网址。当前使用xpath scraper我可以在前10个结果中实现它。但是对于其他页面，我无法获取内容。

我已经尝试过Google自定义搜索，但是它需要我不能创建的API密钥和CX，而且该API的限制是一次只能返回10个结果。

请向我提出前进的方向，而不是向前迈进。 提前致谢。