如何在服务器上处理繁重的请求？

Question

我不知道这是否是正确的地方，但是我非常渴望得到答案。

这里的问题不是请求的数量，而是一个请求将花费的时间。对于每个请求，服务器必须查询大约12个不同的数据源，服务器最多可能需要6个小时来获取数据（让我们离开请求超时，因为这不是服务器直接与客户端通信。这个服务器从kafka获取消息，然后开始从源获取数据）。我应该想出一个可扩展的解决方案。任何人都可以帮我这个吗？

问题不会在此结束：

• 一旦服务器获取数据，他必须使用spark推送到kafka进行进一步计算。流式api将用于此部分。

我对任何Web框架或python中的任何扩展解决方案都是开放的。