Spark Row keyBy值

时间：2017-11-14 14:56:19

标签： sql scala apache-spark dataframe rdd

我有以下数据条目：

  

{＆＃34; UID＆＃34;：＆＃34; XA8O3jlfAxxc＆＃34;＆＃34;事件＆＃34; {＆＃34;轮廓＆＃34; {＆＃34; LAST_UPDATE＆＃34; ：1502287200＆＃34;簇＆＃34; {＆＃34; 129＆＃34;：11，＆＃34; 17＆＃34;：13，＆＃34; 99＆＃34：4，＆＃34; 1＆＃34;：9，＆＃34; 162＆＃34;：12，＆＃34; 161＆＃34;：11，＆＃34; 233＆＃34;：11，＆＃34; 120＆＃34;：6 ＆＃34; 61＆＃34;：12，＆＃34; 115＆＃34;：8，＆＃34; 168＆＃34;：10，＆＃34; 220＆＃34;：10，＆＃34; 135＆ ＃34;：6，＆＃34; 231＆＃34;：10，＆＃34; 109＆＃34;：3，＆＃34; 89＆＃34;：9，＆＃34; 140＆＃34;：11， ＃＆34; 113＆＃34;：9，＆＃34; 124＆＃34;：3，＆＃34; 35＆＃34;：10，＆＃34; 155＆＃34;：8，＆＃34; 131＆＃ 34;：7，＆＃34; 11＆＃34;：2＆＃34; 207＆＃34;：3，＆＃34; 91＆＃34;：2＆＃34; 167＆＃34;：3，＆ ＃34; 212＆＃34;：12，＆＃34; 77＆＃34;：11，＆＃34; 174＆＃34;：13，＆＃34; 154＆＃34;：11，＆＃34; 23＆＃34 ;：12，＆＃34; 13＆＃34;：6，＆＃34; 157＆＃34;：12，＆＃34; 235＆＃34;：11，＆＃34; 159＆＃34;：12，＆＃ 34; 138＆＃34;：13，＆＃34; 199＆＃34;：11，＆＃34; 111＆＃34;：1，＆＃34; 41＆＃34;：6，＆＃34; 211＆＃34; ：12，＆＃34; 15＆＃34;：10，＆＃34; 47＆＃34;：3，＆＃34; 209＆＃34;：10，＆＃34; 173＆＃34;：13，＆＃34 ; 56＆＃34;：14，＆＃34; 101＆＃34;：13，＆＃34; 45＆＃34;：2＆＃34; 169＆＃34;：14，＆＃34; 86＆＃34 ;: 12}＆＃34;段＆＃34; {＆＃34; 11＆＃34;：6，＆＃34; 21＆＃34;：9，＆＃34; 7＆＃34;：12，＆＃34; 17＆ ＃34;：13，＆＃34; 22＆＃34;：13，＆＃34; 1＆＃34;：10，＆＃34; 18＆＃34;：14，＆＃34; 16＆＃34;：13， ＃＆34; 13＆＃34;：12，＆＃34; 23＆＃34;：11，＆＃34; 6＆＃34;：8，＆＃34; 3＆＃34;：11，＆＃34; 9＆＃ 34;：12，＆＃34; 12＆＃34;：13，＆＃34; 15＆＃34;：2＆＃34; 14＆＃34;：8，＆＃34; 8＆＃34;：14，＆ ＃34; 4＆＃34;：12，＆＃34; 10＆＃34;：6，＆＃34; 5＆＃34;：12}＆＃34; geoloc＆＃34; {＆＃34;国家＆＃34 ;：＆＃34; ES＆＃34;＆＃34;经度＆＃34;：2.81908＆＃34;纬度＆＃34;：41.9781}＆＃34; sociodemos＆＃34; {＆＃34; 11＆＃ 34;：6，＆＃34; 21＆＃34;：11，＆＃34; 7＆＃34;：12，＆＃34; 2＆＃34;：5，＆＃34; 22＆＃34;：5，＆ ＃34; 18＆＃34;：3，＆＃34; 16＆＃34;：10，＆＃34; 13＆＃34：4，＆＃34; 23＆＃34;：10，＆＃34; 6＆＃34 ;：11，＆＃34; 3＆＃34;：12，＆＃34; 9＆＃34：4，＆＃34; 12＆＃34：4，＆＃34; 20＆＃34;：3，＆＃ 34; 15＆＃34;：6，＆＃34; 14＆＃34;：6，＆＃34; 8＆＃34：4，＆＃34; 4＆＃34;：9，＆＃34; 24＆＃34; ：10，＆＃34; 5＆＃34;：11}}＆＃34; WAM＆＃34; {＆＃34; TECHNO＆＃34; {＆＃34;浏览器＆＃34;：＆＃34;其他＆ ＃34;＆＃34;装置＆＃34;：＆＃34;移动＆＃34;＆＃34; OS＆＃34;：＆＃34; Android和＃34;＆＃34; ISP＆＃34;：＆ ＃34;西班牙电信＆＃34;}＆＃34; LAST_UPDATE＆＃34;：1502568000，＆＃34; WCM＆＃34; {＆＃34;转换＆＃34;：[{＆＃34; LAST_UPDATE＆＃34 ;: 1502564400＆＃34; ID＆＃34;：＆＃34; 1＆＃34;}]}}}}   {＆＃34; UID＆＃34;：＆＃34; Mq0tCKsYwzMy＆＃34;＆＃34;事件＆＃34; {＆＃34;轮廓＆＃34; {＆＃34; LAST_UPDATE＆＃34;：1502456400， ＃＆34;簇＆＃34; {＆＃34; 170＆＃34;：10，＆＃34; 32＆＃34;：6，＆＃34; 63＆＃34;：10，＆＃34; 90＆＃34 ;：2＆＃34; 7＆＃34;：2＆＃34; 227＆＃34;：5，＆＃34; 119＆＃34：4，＆＃34; 200＆＃34;：5，＆＃ 34; 180＆＃34：4，＆＃34; 18＆＃34;：1，＆＃34; 179＆＃34;：2＆＃34; 162＆＃34;：2＆＃34; 125＆＃34; ：1，＆＃34; 16＆＃34;：8，＆＃34; 84＆＃34;：9，＆＃34; 190＆＃34;：7，＆＃34; 161＆＃34;：10，＆＃34 ; 61＆＃34;：7，＆＃34; 115＆＃34;：5，＆＃34; 220＆＃34;：12，＆＃34; 20＆＃34;：8，＆＃34; 92＆＃34 ;: 2，＆＃34; 231＆＃34;：2＆＃34; 109＆＃34;：7，＆＃34; 103＆＃34;：9，＆＃34; 151＆＃34：4，＆＃34; 89＆＃34;：2＆＃34; 113＆＃34;：8，＆＃34; 35＆＃34;：3，＆＃34; 189＆＃34;：9，＆＃34; 11＆＃34;：14 ＆＃34; 207＆＃34;：11，＆＃34; 91＆＃34;：3，＆＃34; 167＆＃34;：7，＆＃34; 77＆＃34;：10，＆＃34; 174＆ ＃34;：3，＆＃34; 157＆＃34：4，＆＃34; 29＆＃34;：7，＆＃34; 203＆＃34;：11，＆＃34; 210＆＃34;：7， ＃＆34; 138＆＃34;：12，＆＃34; 97＆＃34;：3，＆＃34; 199＆＃34;：8，＆＃34; 41＆＃34;：13，＆＃34; 15＆＃ 34;：7，＆＃34; 153＆＃34：4，＆＃34; 56＆＃34;：6，＆＃34; 45＆＃34;：10，＆＃34; 101＆＃34;：8，＆ ＃34; 86＆＃34;：2＆＃34; 54＆＃34;：5，＆＃34; 237＆＃34：4，＆＃34; 67＆＃34;：9，＆＃34; 129＆＃34 ;：5，＆＃34; 2＆＃34;：10，＆＃34; 17 ＆＃34;：1，＆＃34; 1＆＃34;：6，＆＃34; 136＆＃34;：5，＆＃34; 186＆＃34;：10，＆＃34; 110＆＃34;：3 ＆＃34; 82＆＃34;：9，＆＃34; 25＆＃34;：2＆＃34; 28＆＃34;：12，＆＃34; 120＆＃34：4，＆＃34; 75＆ ＃34;：6，＆＃34; 168＆＃34;：8，＆＃34; 177＆＃34;：2＆＃34; 140＆＃34;：5，＆＃34; 124＆＃34;：8， ＃＆34; 155＆＃34;：12，＆＃34; 131＆＃34;：2＆＃34; 53＆＃34;：10，＆＃34; 181＆＃34;：10，＆＃34; 122＆＃ 34;：11，＆＃34; 79＆＃34;：3，＆＃34; 212＆＃34;：6，＆＃34; 154＆＃34;：3，＆＃34; 13＆＃34;：10，＆ ＃34; 23＆＃34;：8，＆＃34; 235＆＃34;：7，＆＃34; 126＆＃34;：3，＆＃34; 159＆＃34;：2＆＃34; 85＆＃34 ：4＆＃34; 3＆＃34;：10，＆＃34; 185＆＃34;：11，＆＃34; 183＆＃34;：13，＆＃34; 111＆＃34;：3，＆＃ 34; 9＆＃34;：13，＆＃34; 51＆＃34;：8，＆＃34; 47＆＃34;：3，＆＃34; 209＆＃34;：3，＆＃34; 216＆＃34; ：3，＆＃34; 1000＆＃34;：3，＆＃34; 37＆＃34;：11，＆＃34; 132＆＃34;：3，＆＃34; 169＆＃34;：2＆＃34 ; 117＆＃34;：5，＆＃34; 5＆＃34; 10}，＆＃34;段＆＃34; {＆＃34; 11＆＃34;：10，＆＃34; 21＆＃34 ;: 8，＆＃34; 7＆＃34;：10，＆＃34; 17＆＃34;：13，＆＃34; 2＆＃34;：9，＆＃34; 22＆＃34;：13，＆＃34; 1＆＃34;：11，＆＃34; 18＆＃34;：2＆＃34; 16＆＃34;：14，＆＃34; 13＆＃34;：9，＆＃34; 23＆＃34;：5 ＆＃34; 6＆＃34;：5，＆＃34; 25＆＃34;：3，＆＃34; 3＆＃34;：10，＆＃34; 9＆＃34;：8，＆＃34; 12＆ ＃34;：10，＆＃34; 15＆＃34;：10，＆＃34; 14＆＃34;：12，＆＃34; 8＆＃34;：6，＆＃34; 4＆＃34;：13， ＆＃ 34; 10＆＃34：4，＆＃34; 19＆＃34;：10，＆＃34; 5＆＃34; 10}，＆＃34; geoloc＆＃34; {＆＃34;国家＆＃34; ：＆＃34; ES＆＃34;＆＃34;经度＆＃34;： - 3.70358＆＃34;纬度＆＃34;：40.4167}＆＃34; sociodemos＆＃34; {＆＃34; 11＆＃ 34;：3，＆＃34; 21＆＃34;：6，＆＃34; 7＆＃34;：10，＆＃34; 2＆＃34;：10，＆＃34; 22＆＃34;：5，＆ ＃34; 18＆＃34;：6，＆＃34; 23＆＃34;：6，＆＃34; 16＆＃34;：6，＆＃34; 13＆＃34;：7，＆＃34; 6＆＃34 ; 6＆＃34; 3＆＃34;：11，＆＃34; 9＆＃34;：7，＆＃34; 12＆＃34：4，＆＃34; 14＆＃34：4，＆＃ 34; 15＆＃34;：3，＆＃34; 20＆＃34;：7，＆＃34; 8＆＃34;：9，＆＃34; 4＆＃34;：12，＆＃34; 24＆＃34; ：14，＆＃34; 5＆＃34;：12}}＆＃34; WAM＆＃34; {＆＃34; TECHNO＆＃34; {＆＃34;浏览器＆＃34;：＆＃34;铬， ＃34;＆＃34;装置＆＃34;：＆＃34;移动＆＃34;＆＃34; OS＆＃34;：＆＃34; Android和＃34;＆＃34; ISP＆＃34;：＆ ＃34;西班牙电信＆＃34;}＆＃34; LAST_UPDATE＆＃34;：1502575200，＆＃34; WCM＆＃34; {＆＃34;转换＆＃34;：[{＆＃34; LAST_UPDATE＆＃34 ;: 1502560800＆＃34; ID＆＃34;：＆＃34; 1＆＃34;}]}}}}   {＆＃34; UID＆＃34;：＆＃34; 1NaQF91h10rU＆＃34;＆＃34;事件＆＃34; {＆＃34; WAM＆＃34; {＆＃34; TECHNO＆＃34;：{＆ ＃34;浏览器＆＃34;：＆＃34;铬＆＃34;＆＃34;装置＆＃34;：＆＃34;移动＆＃34;＆＃34; OS＆＃34;：＆＃34;的Android＆＃ 34;，＆＃34; ISP＆＃34;：＆＃34;其他＆＃34;}＆＃34; LAST_UPDATE＆＃34;：1502571600，＆＃34; WCM＆＃34; {＆＃34;转换＆＃34 ;：[{＆＃34; LAST_UPDATE＆＃34;：1502568000，＆＃34; ID＆＃34;：＆＃34; 1＆＃34;}]}}}}

我只对集群的信息感兴趣：＆＃34;集群＆＃34;：{＆＃34;数字＆＃34;：亲和力，...}

我用这句话收集了这些信息：

val trafico = sqlContext.read.json("/weborama/WAM_files/*/*")
val traficoRDD  = trafico.selectExpr(List("events.profile.clusters"): _*).filter("clusters is not null").rdd

输出：

  

[[9，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，11,2，NULL，NULL，NULL，如图4所示，空，如图5所示，空值，如图4所示，空值，如图5所示，空，3，NULL，NULL，NULL，8，NULL，NULL，NULL，NULL，NULL，6，NULL，NULL，NULL，NULL，NULL，10，NULL，NULL ，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，11,7，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL ，NULL，NULL，3,13,7,5,6，NULL，NULL，8,11，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL ，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，8，NULL，NULL，8，NULL，NULL，NULL，NULL，12，NULL，NULL ，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，12,3，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，10，NULL，NULL，11,5，空，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL ，NULL，NULL，NULL，NULL，NULL，6，NULL，NULL，NULL，NULL，NULL，NULL，6，NULL，NULL，NULL，12，NULL，NULL，NULL，NULL，NULL，NULL，9，空5，NULL，NULL，8，空，6,5,10，NULL，6，NULL，NULL，NULL，NULL，NULL，13,12，NULL，NULL，NULL，NULL，NULL，NU LL，NULL，NULL，NULL，NULL，如图8所示，空，7,6，NULL，NULL，NULL，NULL，NULL，9，NULL，NULL，NULL，NULL，NULL，NULL，6,3，NULL，NULL， NULL，NULL，NULL，NULL，NULL]   [[2，NULL，NULL，8，NULL，NULL，11，空，8，NULL，NULL，NULL，NULL，NULL，NULL，NULL，12，NULL，NULL，NULL，NULL，NULL，NULL，NULL， NULL，NULL，NULL，NULL，NULL，1，NULL，NULL，NULL，1,3，NULL，NULL，NULL，NULL，10，空，1，NULL，NULL，NULL，NULL，NULL，NULL，8，空，12，NULL，NULL，8，NULL，NULL，NULL，NULL，12，NULL，NULL，4，NULL，NULL，NULL，NULL，4，NULL，NULL，12，空，8，NULL，NULL， NULL，NULL，3,13，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，4,13，NULL，NULL，NULL，NULL，NULL，NULL，NULL， NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，7，NULL，NULL，NULL，NULL，4，NULL，NULL，NULL，NULL，NULL，NULL，NULL， NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，9，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，9，空值，如图3所示，空值，如图6所示，NULL，NULL， NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL， NULL，NULL，NULL，NULL，NULL，NULL，13，N​​ULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，12，空，1， NULL，NULL，如图4所示，零，2,4，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，2，NULL，NULL，NULL，NULL，NUL升，NULL，NULL，NULL，NULL，NULL，NULL，4，NULL，NULL，NULL，NULL，NULL，NULL，NULL，NULL，1，NULL，NULL，NULL，NULL，NULL，13,14，空NULL，NULL，NULL，NULL，NULL，NULL，9]]

我想要的是分析每个亲和力重复多少个聚类和其他东西。

为此我想创建一对rdd（亲和力，簇号）。有人能帮助我吗？

(1,[129,99,17])
(2,[63,80,3])
.
.
.
(14,[222,69])

谢谢！

1 个答案:

答案 0 :(得分：0)

您正在以正确的方式阅读json，这将创建dataframe。所以

val trafico = sqlContext.read.json("/weborama/WAM_files/*/*")

将使用dataframe创建schema作为

root
 |-- events: struct (nullable = true)
 |    |-- profile: struct (nullable = true)
 |    |    |-- clusters: struct (nullable = true)
 |    |    |    |-- 1: long (nullable = true)
 |    |    |    |-- 101: long (nullable = true)
 |    |    |    |-- 109: long (nullable = true)
 |    |    |    |-- 11: long (nullable = true)
 |    |    |    |-- 111: long (nullable = true)
 |    |    |    |-- 113: long (nullable = true)
 |    |    |    |-- 115: long (nullable = true)
 |    |    |    |-- 120: long (nullable = true)
 |    |    |    |-- 124: long (nullable = true)
 |    |    |    |-- 129: long (nullable = true)
 |    |    |    |-- 13: long (nullable = true)
 |    |    |    |-- 131: long (nullable = true)
 |    |    |    |-- 135: long (nullable = true)
 |    |    |    |-- 138: long (nullable = true)
 |    |    |    |-- 140: long (nullable = true)
 |    |    |    |-- 15: long (nullable = true)
 |    |    |    |-- 154: long (nullable = true)
 |    |    |    |-- 155: long (nullable = true)
 |    |    |    |-- 157: long (nullable = true)
 |    |    |    |-- 159: long (nullable = true)
 |    |    |    |-- 161: long (nullable = true)
 |    |    |    |-- 162: long (nullable = true)
 |    |    |    |-- 167: long (nullable = true)
 |    |    |    |-- 168: long (nullable = true)
 |    |    |    |-- 169: long (nullable = true)
 |    |    |    |-- 17: long (nullable = true)
 |    |    |    |-- 173: long (nullable = true)
 |    |    |    |-- 174: long (nullable = true)
 |    |    |    |-- 199: long (nullable = true)
 |    |    |    |-- 207: long (nullable = true)
 |    |    |    |-- 209: long (nullable = true)
 |    |    |    |-- 211: long (nullable = true)
 |    |    |    |-- 212: long (nullable = true)
 |    |    |    |-- 220: long (nullable = true)
 |    |    |    |-- 23: long (nullable = true)
 |    |    |    |-- 231: long (nullable = true)
 |    |    |    |-- 233: long (nullable = true)
 |    |    |    |-- 235: long (nullable = true)
 |    |    |    |-- 35: long (nullable = true)
 |    |    |    |-- 41: long (nullable = true)
 |    |    |    |-- 45: long (nullable = true)
 |    |    |    |-- 47: long (nullable = true)
 |    |    |    |-- 56: long (nullable = true)
 |    |    |    |-- 61: long (nullable = true)
 |    |    |    |-- 77: long (nullable = true)
 |    |    |    |-- 86: long (nullable = true)
 |    |    |    |-- 89: long (nullable = true)
 |    |    |    |-- 91: long (nullable = true)
 |    |    |    |-- 99: long (nullable = true)
 |    |    |-- geoloc: struct (nullable = true)
 |    |    |    |-- country: string (nullable = true)
 |    |    |    |-- latitude: double (nullable = true)
 |    |    |    |-- longitude: double (nullable = true)
 |    |    |-- last_update: long (nullable = true)
 |    |    |-- segments: struct (nullable = true)
 |    |    |    |-- 1: long (nullable = true)
 |    |    |    |-- 10: long (nullable = true)
 |    |    |    |-- 11: long (nullable = true)
 |    |    |    |-- 12: long (nullable = true)
 |    |    |    |-- 13: long (nullable = true)
 |    |    |    |-- 14: long (nullable = true)
 |    |    |    |-- 15: long (nullable = true)
 |    |    |    |-- 16: long (nullable = true)
 |    |    |    |-- 17: long (nullable = true)
 |    |    |    |-- 18: long (nullable = true)
 |    |    |    |-- 21: long (nullable = true)
 |    |    |    |-- 22: long (nullable = true)
 |    |    |    |-- 23: long (nullable = true)
 |    |    |    |-- 3: long (nullable = true)
 |    |    |    |-- 4: long (nullable = true)
 |    |    |    |-- 5: long (nullable = true)
 |    |    |    |-- 6: long (nullable = true)
 |    |    |    |-- 7: long (nullable = true)
 |    |    |    |-- 8: long (nullable = true)
 |    |    |    |-- 9: long (nullable = true)
 |    |    |-- sociodemos: struct (nullable = true)
 |    |    |    |-- 11: long (nullable = true)
 |    |    |    |-- 12: long (nullable = true)
 |    |    |    |-- 13: long (nullable = true)
 |    |    |    |-- 14: long (nullable = true)
 |    |    |    |-- 15: long (nullable = true)
 |    |    |    |-- 16: long (nullable = true)
 |    |    |    |-- 18: long (nullable = true)
 |    |    |    |-- 2: long (nullable = true)
 |    |    |    |-- 20: long (nullable = true)
 |    |    |    |-- 21: long (nullable = true)
 |    |    |    |-- 22: long (nullable = true)
 |    |    |    |-- 23: long (nullable = true)
 |    |    |    |-- 24: long (nullable = true)
 |    |    |    |-- 3: long (nullable = true)
 |    |    |    |-- 4: long (nullable = true)
 |    |    |    |-- 5: long (nullable = true)
 |    |    |    |-- 6: long (nullable = true)
 |    |    |    |-- 7: long (nullable = true)
 |    |    |    |-- 8: long (nullable = true)
 |    |    |    |-- 9: long (nullable = true)
 |    |-- wam: struct (nullable = true)
 |    |    |-- last_update: long (nullable = true)
 |    |    |-- techno: struct (nullable = true)
 |    |    |    |-- browser: string (nullable = true)
 |    |    |    |-- device: string (nullable = true)
 |    |    |    |-- isp: string (nullable = true)
 |    |    |    |-- os: string (nullable = true)
 |    |    |-- wcm: struct (nullable = true)
 |    |    |    |-- conversion: array (nullable = true)
 |    |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |    |-- id: string (nullable = true)
 |    |    |    |    |    |-- last_update: long (nullable = true)
 |-- uid: string (nullable = true)

现在，因为您只对clusters字段感兴趣

val clusters = trafico.select("events.profile.clusters.*")

这会为dataframe schema提供

root
 |-- 1: long (nullable = true)
 |-- 101: long (nullable = true)
 |-- 109: long (nullable = true)
 |-- 11: long (nullable = true)
 |-- 111: long (nullable = true)
 |-- 113: long (nullable = true)
 |-- 115: long (nullable = true)
 |-- 120: long (nullable = true)
 |-- 124: long (nullable = true)
 |-- 129: long (nullable = true)
 |-- 13: long (nullable = true)
 |-- 131: long (nullable = true)
 |-- 135: long (nullable = true)
 |-- 138: long (nullable = true)
 |-- 140: long (nullable = true)
 |-- 15: long (nullable = true)
 |-- 154: long (nullable = true)
 |-- 155: long (nullable = true)
 |-- 157: long (nullable = true)
 |-- 159: long (nullable = true)
 |-- 161: long (nullable = true)
 |-- 162: long (nullable = true)
 |-- 167: long (nullable = true)
 |-- 168: long (nullable = true)
 |-- 169: long (nullable = true)
 |-- 17: long (nullable = true)
 |-- 173: long (nullable = true)
 |-- 174: long (nullable = true)
 |-- 199: long (nullable = true)
 |-- 207: long (nullable = true)
 |-- 209: long (nullable = true)
 |-- 211: long (nullable = true)
 |-- 212: long (nullable = true)
 |-- 220: long (nullable = true)
 |-- 23: long (nullable = true)
 |-- 231: long (nullable = true)
 |-- 233: long (nullable = true)
 |-- 235: long (nullable = true)
 |-- 35: long (nullable = true)
 |-- 41: long (nullable = true)
 |-- 45: long (nullable = true)
 |-- 47: long (nullable = true)
 |-- 56: long (nullable = true)
 |-- 61: long (nullable = true)
 |-- 77: long (nullable = true)
 |-- 86: long (nullable = true)
 |-- 89: long (nullable = true)
 |-- 91: long (nullable = true)
 |-- 99: long (nullable = true)

这些column names是配对的Rdd 中您想要的键。所以你可以将它们保存为

val clusterNames = clusters.schema.fieldNames

将是

Array[1, 101, 109, 11, 111, 113, 115, 120, 124, 129, 13, 131, 135, 138, 140, 15, 154, 155, 157, 159, 161, 162, 167, 168, 169, 17, 173, 174, 199, 207, 209, 211, 212, 220, 23, 231, 233, 235, 35, 41, 45, 47, 56, 61, 77, 86, 89, 91, 99]

所需配对RDD 中的值是每个columns clusters {{的收集列表 1}}以上你可以做以下事情来获得

dataframe

将是

import org.apache.spark.sql.functions._
val collectedClusters = clusters.select(clusterNames.map(x => collect_list(col(x))) : _*).rdd.flatMap(_.toSeq.toList).collect

最后一步是创建配对的RDD ，可以使用Array[WrappedArray(9), WrappedArray(13), WrappedArray(3), WrappedArray(2), WrappedArray(1), WrappedArray(9), WrappedArray(8), WrappedArray(6), WrappedArray(3), WrappedArray(11), WrappedArray(6), WrappedArray(7), WrappedArray(6), WrappedArray(13), WrappedArray(11), WrappedArray(10), WrappedArray(11), WrappedArray(8), WrappedArray(12), WrappedArray(12), WrappedArray(11), WrappedArray(12), WrappedArray(3), WrappedArray(10), WrappedArray(14), WrappedArray(13), WrappedArray(13), WrappedArray(13), WrappedArray(11), WrappedArray(3), WrappedArray(10), WrappedArray(12), WrappedArray(12), WrappedArray(10), WrappedArray(12), WrappedArray(10), WrappedArray(11), WrappedArray(11), WrappedArray(10), WrappedArray(6), WrappedArray(2), WrappedArray(3), WrappedArray(14), WrappedArray(12), WrappedArray(11), WrappedArray(12), WrappedArray(9), WrappedArray(2), WrappedArray(4)]

来实现 
zip

你应该按照

的要求配置配对的RDD 
clusterNames.zip(collectedClusters)

我希望答案很有帮助

相关问题
最新问题