我正在尝试在Golang中实现以下功能。
我有一个带有表单的网页,用于上传.csv文件。 Gorilla mux用于路由到处理程序,该处理程序接收文件并对其进行解析,对数据执行大量操作,最后生成一个报告,其中包含解析的行数,拒绝的行数等等。
我的问题是,即使它可以在我的机器上运行,但在服务器上,Apache会在我结束之前超时:文件上传本身不是问题,但我必须等待转换关于要完成的数据。
我尝试使用Gorilla websocket从流程中获取反馈(例如,增加解析和处理的行数)并保持连接打开,但这是一个POST请求,并且Gorilla websocket不会从http到websocket,除非有人有GET请求。
我甚至不确定我是否使用websockets来做这类事情。
我可以为处理本身设置goroutine并在goroutine完成之前返回处理程序,但是如何在UI中显示进程的结果?
所以在这个阶段我的问题归结为:在Golang,当你需要时,最好的方法是什么:
非常感谢关于进入正确方向的线索。
答案 0 :(得分:2)
你偶然发现了一个非常重要的问题。有许多可能的解决方案,具有不同的用户体验,实现复杂性和副作用。这是一个非常重要的主题,所以这个答案主要是作为进一步研究的起点。
首先,无论解决方案如何,您都必须为每个长时间运行的任务提供一个唯一的ID,浏览器可以使用该ID在以后获取状态更新。任务运行器本身可以将作业标记为完成,或者如果要向用户显示进度,它可以定期发布进度更新。
最容易实现的可能是您的表单提交立即响应一个页面,其中任务ID包含在URL中,其处理程序检查任务状态,并且a)返回一个页面,其中"仍在工作&# 34;或类似的东西,并在几秒钟后自动刷新,或b)返回一个页面说"完成"并且不刷新。这并不是非常难以实现,但它也不是特别顺利。如果这是一个简单的内部使用项目,具有简单的用户体验和操作要求,我就是这样做的。否则,我们走下兔洞了!
您可以通过几种不同的方法进行实时更新,而无需重新加载页面:
任何一个选项都需要一个处理程序来提供状态更新信息,并且需要前端的一些JavaScript魔法来调用处理程序,解析响应并更新页面。
根据此服务的规模和要求,需要考虑一些副作用;主要是长期运行的任务实际上是一种应用程序状态,使您的应用程序具有状态,在可用性,扩展和部署方面存在严重的操作缺点。如果您正在运行多个负载均衡的实例,则必须以某种方式使用粘性会话或在实例之间共享任务状态。
大规模处理长时间运行任务的最常见方法是使用某种工作队列(在数据库或像Rabbit或Kafka这样的专用消息代理中)将工作者与Web应用程序分开来管理任务。这使得获取状态更新变得有点复杂,因为您正在跨进程工作,但它在操作上为您提供了更多的灵活性。
我猜这是一个比你预期的更复杂的答案"请求超时",但这是一个微不足道的问题,一个非平凡的解决方案。你在处理这个问题时肯定并不孤单;研究处理Web应用程序中长时间运行的任务将产生大量可以利用的信息。