Spark / Scala - 重命名List生成的列

Question

如何在Spark / Scala中将_1，_2重命名为有意义的列名？

root
   |-- aaa: string (nullable = true)
   |-- bbb: array (nullable = true)
   |    |-- element: struct (containsNull = true)
   |    |    |-- _1: string (nullable = true)
   |    |    |-- _2: long (nullable = false)

Answer 1

创建案例类并将元组转换为案例类。这样你就可以命名为元组。

case class person(name:String,age:Int)
 val personRdd=rdd.map(_.split(<delimeter>)).map(x => person(x._1,x._2))

现在您可以将personRdd元组值作为

访问

personRdd.map(p => (p.name+":"+p.age))