拥有一个包含自定义流的流,并且在某个阶段我想拆分流并有两个备用数据处理,稍后会再次合并。
E.g。
-> F3 -> F6
Src -> F1 -> F2 > Merge -> Sink
-> F4 -> F5
F2
应该有一个条件,说明数据是否包含格式A
,那么它应该流向F3
,否则转到F4
。
据我所知,每个流程在每个方向上只能有一个端口(如果是双向的话,则为两个端口) - 那么我该如何支持这样的流程?
答案 0 :(得分:14)
您可以使用Broadcast
拆分流,然后就可以在每个流上使用filter
或collect
来过滤所需的数据。
val split = builder.add(Broadcast[Int](2))
Src -> F1 -> split -> filterCondA -> F3 -> F6 -> Merge -> Sink
-> filterCondB -> F4 -> F5 -> Merge
此外,还有Partition
阶段处理输出端口的数量,映射函数从值到端口号f: T => Int
。
val portMapper(value: T): Int = value match {
case CondA => 0
case CondB => 1
}
val split = builder.add(Partition[T](2, portMapper))
Src -> F1 -> split -> F3 -> F6 -> Merge -> Sink
split -> F4 -> F5 -> Merge
也许有一些更简单的方法。