使用Selenium进行Web抓取的NodeJs API

Question

我想知道是否可以在Nodejs中创建API以使用Selenium进行长时间的Web抓取操作。我问是因为操作时间太长，以致在部署到Heroku时出现超时错误。

谢谢！

Answer 1

您的问题源于以下事实：Heroku路由器会终止其文档中提到的超过30秒的请求：

有时，Web请求可能会挂起或花费过多时间来处理您的应用程序。如果发生这种情况，路由器将花费30秒以上的时间来终止请求。

您可以使用不同的方法来解决此问题。我建议您浏览其文档（https://devcenter.heroku.com/articles/request-timeout）或使用Web套接字将数据从服务器端传输到客户端（但是，由于它们难以扩展，我倾向于避免使用WebSockets用于API） ）。