如何在启动时处理大量的大型消息到Akka集群?

时间:2017-11-30 13:41:38

标签: akka akka-stream akka-cluster

我们有一个actor结构,其中有一个聚类分片的actor,它计算一个大约7兆的参数矩阵,并且必须将它分配给其他五个节点以供消费。首先,存在以下约束:

  1. 必须在一个地方生成矩阵。
  2. 所有节点都需要矩阵来处理用户负载。
  3. 将再次定期生成矩阵以处理更改变量,然后发送到所有节点以处理用户负载。
  4. 将矩阵保存在数据库中可能不可行,因为它只会改变网络负载,数据库会非常快速地变大。数据库仅保存输入参数。
  5. 我们将Akka max消息大小更改为10 meg以实现此目的,但这感觉有点奇怪,我们没有看到另一个选择。通常,即使在分布式pub-sub周围传递10 meg消息对我来说这也很奇怪,但这种方法很好。但是,在启动时,系统必须立即启动2000个。结果,分片协调员向我们尖叫有关缓冲的消息。它最终平静下来,生命恢复,但我希望能够在没有日志中的血洗的情况下做到这一点。

    有人可以推荐一种替代策略来处理参数矩阵的分布,该矩阵将其传递到每个节点,但是不会导致分片协调员投诉血腥吗?

0 个答案:

没有答案