展平列表类型的DStream

时间:2016-04-01 22:08:34

标签: scala apache-spark spark-streaming

问题

嘿,我的DStream类型为List[A],将此DStream转换为A类型的最佳方法是什么?

为了帮助说明我的目标,我想要

List(A, A, A, ....), List(A, A, ...), List(A, A, A, ...), ...

A, A, A, A, A, ...

基本上它与概念中的扁平操作非常相似。谢谢!

更新: 我想我想出来了,一个简单的flatMap应该这样做。不管怎样,谢谢!

1 个答案:

答案 0 :(得分:0)

万一有人想要答案。 如果x是List [A]的某个DStream,那么在x上应用平面贴图,其中转换函数只返回列表,将这些列表展平为A的DStream。

val x: DStream[List[A]] = ... val y: DStream[A] = x.flatmap(k => k)