春季长期投票

时间:2017-01-26 16:00:57

标签: java spring

我们有一个独特的案例,我们需要与外部API进行交互,这需要我们长时间轮询他们的端点以获取他们所谓的实时事件。

问题是我们可能在任何给定时间有多达80,000人/设备到达此端点,监听事件,每个设备/人有1个连接。

当客户端向我们的Spring服务发出请求以对事件进行长轮询时,我们的服务会依次对外部API进行异步调用以对事件进行长轮询。外部API已定义最小长轮询超时可设置为180秒。

所以在这里我们遇到一个带队列的线程池不能工作的情况,因为如果我们有一个类似于(5分钟,10个最大值,10个队列)的线程池,那么10个线程正在处理可能会占用聚光灯和队列中的10个将不会有机会,直到当前10个中的一个完成。

我们需要服务或失败(我们会在其后面加载负载均衡器等),但我们不希望在没有实际轮询的情况下让客户端挂起。

我们一直在研究如何使用DeferredResult,并从控制器返回。

的调整
CodeBlock

我在质疑我是否在正确的道路上,我也应该为@RequestMapping(value = "test/deferredResult", method = RequestMethod.GET) DeferredResult<ResponseEntity> testDeferredResult() { final DeferredResult<ResponseEntity> deferredResult = new DeferredResult<ResponseEntity>(); CompletableFuture.supplyAsync(() -> testService.test()).whenCompleteAsync((result, throwable) -> deferredResult.setResult(result)); return deferredResult; } 方法提供执行者和执行者(和配置)以最好地完成我们的任务。

我已经阅读了各种文章,帖子等等,我想知道是否有人知道可能有助于我们的具体情况。

1 个答案:

答案 0 :(得分:3)

如果使用阻塞IO,那么您所描述的问题听起来并不像是可以很好地解决的问题。因此,您处于正确的路径上,因为DeferredResult允许您使用任何线程生成结果,而不会阻塞servlet-container线程。

关于在上游调用长池API,您还需要一个NIO解决方案。如果使用Netty客户端,则可以使用单个线程管理数千个套接字。当Netty中的NIO选择器检测到数据时,您将获得一个通道回调并最终委托给Netty工作线程池中的一个线程,然后您可以调用deferredResult.setResult。如果您不阻止IO,则工作池通常按CPU核心数量大小调整,否则您可能需要更多线程。

仍然存在许多挑战。

  • 您可能需要多个服务器(或网络接口),因为只有65K端口。
  • Java中的套接字没有写入超时,因此如果客户端拒绝从套接字读取数据,并且发送的数据多于套接字缓冲区,则会阻止Netty工作线程,然后一切都会停止( 逆转慢洛里斯攻击)。这是大型异步设置中的典型问题,也是使用Hystrix(Netflix)等框架的原因之一。