我在Heroku上托管了一个Ruby应用程序,它在用户指定的域上运行Anemone(Ruby web spider / crawler)。当用户选择中到大型域时,它会崩溃并且日志显示H12错误(请求超时)。
这是因为Anemone需要一段时间才能运行(> 30秒),并且在用户运行时没有反馈。有没有办法让Anemone向用户显示更新,或者是一种合并状态栏的方法?有什么方法可以防止网站崩溃?我没有在Anemone文档中看到任何允许“逐段”抓住域名的方式,但必须有我可以做的事情。
https://devcenter.heroku.com/articles/error-codes#h12-request-timeout
http://anemone.rubyforge.org/
答案 0 :(得分:1)
您可以在后台运行它并在用户准备好后发送警报吗?我过去曾经使用过delayed_jobs和sidekiq这样的东西。看一下background job gem的一些内容。