Flatten加入了DStream

时间:2015-10-06 09:53:42

标签: scala apache-spark spark-streaming rdd dstream

我已经加入了一些DStream,所以DStream的当前“数据类型”看起来像这样(键和值):

DStream[(Long,((DateTime,Int),((Int,Double),Double)))]

但我想得到:

DStream[(Long,DateTime,Int,Int,Double,Double)]

DStream[(Long,(DateTime,Int,Int,Double,Double)]

我可以在DStream上应用任何函数来转换它,或者我怎么能这样做?

提前致谢!

1 个答案:

答案 0 :(得分:1)

您可能正在寻找地图功能:

stream.map {case (lng, ((dt, i1),((i2, d1),d2))) => (lng,dt,i1,i2,d1,d2)}

stream.map {case (lng, ((dt, i1),((i2, d1),d2))) => (lng,(dt,i1,i2,d1,d2))}