使用自定义优先级逻辑进行负载平衡微服务

Question

与业内许多人一样，我们正在为模块化微服务移植整体解决方案。 下面的图表描述了一些客户微服务和资源微服务的体系结构。客户基本上通过负载均衡器向资源发送处理请求。

需要资源来加载一些＆＃34;模型＆＃34;从磁盘。有许多不同的模型（没有模型数量的上限）。客户将处理请求发送到负载均衡器。处理请求包括特定模型。因此，最终每个资源都会获得包含一些随机模型的处理请求。 循环负载平衡的天真方法不是很有效，因为资源接收随机模型的请求，并且必须逐出旧模型并重新加载新模型（随机分布之后）。

注意 - 此问题看起来与硬件中的Uma / Numa问题非常相似。

问题 - 是否有解决此性能问题的工具，例如load-balancer / request-queue-manager首先尝试将来自同一客户的请求路由到与以前相同的资源 - 如果存在？

谢谢！