如何展平JavaPairDStream <string,arraylist <string>&gt;到java spark streaming中的JavaDStream <string>

时间:2015-12-13 21:16:12

标签: java arraylist apache-spark spark-streaming

spark-streaming:我有一个中间结果作为JavaPairDStream,并希望转换为JavaDStream,其中输出应该具有展平的Arraylist值。

 input example : [1,{2,3,4},6,{x,y,z}]

output required : 2,3,4,x,y,z

压平记录。

1 个答案:

答案 0 :(得分:0)

Python代码(请翻译成java API):

data = [(1,[2,3,4]),(6,['x','y','z'])]
distData = sc.parallelize(data)
distData.map(lambda m: m[1]).flatMap(lambda m:m).collect()
=================output===============
[2, 3, 4, 'x', 'y', 'z']