Question

我有一个

的流

case class Msg(keys: Seq[Char], value: String)

现在我想要过滤一部分密钥，例如 val filterKeys = Set[Char]('k','f','c')和Filter(k.exists(filterKeys.contains))) 然后拆分它们，以便某些键由不同的流处理，然后在最后合并回来;

                                 /-key=k-> f1 --\
Source[Msg] ~> Filter ~> router |--key=f-> f2 ----> Merge --> f4
                                 \-key=c-> f3 --/

我应该怎么做呢？

以旧的方式

FlexiRoute似乎是一个很好的方法，但在新的API中，我猜我想要制作自定义GraphStage或从DSL创建我自己的图表因为我看不到通过内置阶段做到这一点..？

Answer 1

小键集解决方案

如果您的密钥集很小且不可变，那么广播和过滤器的组合可能是最容易理解的实现。您首先需要定义您描述的过滤器：

def goodKeys(keySet : Set[Char]) = Flow[Msg] filter (_.keys exists keySet.contains)

然后可以按照in the documentation所述为广播公司提供信息。具有良好密钥的所有Msg值将被广播到三个过滤器中的每一个，并且每个过滤器将仅允许特定密钥：

val g = RunnableGraph.fromGraph(GraphDSL.create() { implicit builder: GraphDSL.Builder[NotUsed] =>
  import GraphDSL.Implicits._

  val source : Source[Msg] = ???

  val goodKeyFilter = goodKeys(Set('k','f','c'))

  val bcast = builder.add(BroadCast[Msg](3))
  val merge = builder.add(Merge[Msg](3))

  val kKey = goodKeys(Set('k'))
  val fKey = goodKeys(Set('f'))
  val cKey = goodKeys(Set('c'))

  //as described in the question
  val f1 : Flow[Msg, Msg, _] = ???
  val f2 : Flow[Msg, Msg, _] = ???
  val f3 : Flow[Msg, Msg, _] = ???

  val f4 : Sink[Msg,_] = ???

  source ~> goodKeyFilter ~> bcast ~> kKey ~> f1 ~> merge ~> f4
                             bcast ~> fKey ~> f2 ~> merge
                             bcast ~> cKey ~> f3 ~> merge

大键集解决方案

如果你的密钥集很大，那么groupBy会更好。假设您有Map个函数键：

//e.g. 'k' -> f1
val keyFuncs : Map[Set[Char], (Msg) => Msg]

此地图可与groupBy函数一起使用：

source
  .via(goodKeys(Set('k','f','c'))
  .groupBy(keyFuncs.size, _.keys)
  .map(keyFuncs(_.keys)) //apply one of f1,f2,f3 to the Msg
  .mergeSubstreams

Akka Streams过滤器＆amp;按一组键分组

1 个答案: