同时使用Akka Streams Kafka Producer

Question

我希望将写入并行化到kafka，即让多个生产者向kafka发送数据，尽管来自akka-stream。在其他我的流将有来自源的几个初始阶段，然后当到达发送数据时，我想有大约16个工人同时发送数据。

我想知道我是否需要在akka-stream Graph DSL中嵌入Akka Streams Kafka并使用平衡器，或者如果有更简单的解决方案。而且，简单地说，如果某人做了类似的事情，那将会很棒。

Answer 1

Akka Streams Kafka（又名Reactive Kafka）已经为生产者并行性设置了一个特定的设置（参见docs）

akka.kafka.producer {
  # Tuning parameter of how many sends that can run in parallel.
  parallelism = 100

  ...
}

您是否尝试过调整它来解决问题？