使用Scala清理RDD中的打开和关闭括号

时间:2017-03-30 09:46:39

标签: regex scala apache-spark apache-spark-sql spark-dataframe

使用spark和scala对文件进行少量转换后,我得到了如下结果

(451,M,(BC-B,(21104246,321.50)))
(454,M,(OC,(21104751,361.00)))
(147,M,(OC,(20404588,340.00)))
(155,M,(BC-B,(20405733,347.00)))

但是我需要删除括号并期望输出如下所示,因为我需要将rdd转换为dataframe

454,M,OC,21104751,361.00  
451,M,BC-B,21104246,321.50
147,M,OC,20404588,340.00
155,M,BC-B,20405733,347.00

任何帮助都很明显!!!

1 个答案:

答案 0 :(得分:0)

你可以模仿匹配:

rdd.map{case (a,b,(c,(d,e))) => (a,b,c,d,e)}.toDF()