Question

我有一个@RestController网络服务方法，该方法可能会通过长时间运行的服务调用来阻塞响应线程。如下：

@RestController
public class MyRestController {
    //could be another webservice api call, a long running database query, whatever
    @Autowired
    private SomeSlowService service;

    @GetMapping()
    public Response get() {
        return service.slow();
    }

    @PostMapping()
    public Response get() {
        return service.slow();
    }
}

问题：如果X个用户在这里呼叫我的服务怎么办？执行线程将全部阻塞，直到返回响应。这样就耗尽了“最大连接数”，最大线程数。

我记得前段时间读过一篇有关如何解决此问题的文章，该文章以某种方式驻留线程直到收到缓慢的服务响应。这样这些线程就不会阻塞tomcat最大连接数/池数。

但是我找不到了。也许有人知道如何解决这个问题？

Answer 1

有一些解决方案，例如使用asynchronous requests。在这些情况下，一旦返回CompletableFuture，DeferredResult，Callable，...（不一定是完整的），线程将再次变为空闲。

例如，假设我们这样配置Tomcat：

server.tomcat.max-threads=5 # Default = 200

我们有以下控制器：

@GetMapping("/bar")
public CompletableFuture<String> getSlowBar() {
    return CompletableFuture.supplyAsync(() -> {
        silentSleep(10000L);
        return "Bar";
    });
}

@GetMapping("/baz")
public String getSlowBaz() {
    logger.info("Baz");
    silentSleep(10000L);
    return "Baz";
}

如果我们一次要触发100个请求，则必须等待至少200秒才能处理所有getSlowBar()调用，因为在给定的时间只能处理5个。另一方面，对于异步请求，您将不得不等待至少10秒钟，因为所有请求很可能会立即处理，然后该线程可供其他人使用。

CompletableFuture，Callable和DeferredResult之间是否有区别？结果方面没有任何区别，它们的行为都相似。

您处理线程的方式有些不同：

使用Callable，您依靠Spring使用Callable执行TaskExecutor
使用DeferredResult，您必须自己进行线程处理。例如，通过执行ForkJoinPool.commonPool()中的逻辑。
使用CompletableFuture，您可以依赖默认线程池（ForkJoinPool.commonPool()），也可以指定自己的线程池。

除此之外，CompletableFuture和Callable是Java规范的一部分，而DeferredResult是Spring框架的一部分。

请注意，即使释放了线程，连接仍然对客户端保持打开状态。这意味着，使用这两种方法，一次可以处理的最大请求数限制为10000，并且可以使用以下命令进行配置：

server.tomcat.max-connections=100 # Default = 10000

Answer 2

我认为

。对于服务器来说，异步可能更好。对于这个特定的api，异步不能很好地工作。客户端也保持连接。最终它将吞噬“最大连接数”。您可以将请求发送到messagequeue（kafka），然后将成功返回给客户端。然后您收到请求并将其传递给速度较慢的服务。

如何在春季创建一个非阻塞的@RestController Web服务？

2 个答案: