Question

我有一个名为 KFA 的列的DataFrame，其中包含两端带有角括号的字符串。这个长字符串中有4个双精度值。我想将它转换为带有向量的DataFrame。

这是DataFrame的第一个元素：

> dataFrame1.first()
res130: org.apache.spark.sql.Row = [[.00663 .00197 .29809 .0034]]

你能帮我把它转换成一个有4个双值的密集向量。

我试过这个命令

dataFrame1.select("KFA")
    .map((x=>x.mkString("").replace("]","").replace("[","").split(" ")))
    .rdd.map(x=>Vectors.dense(x(0).toDouble,x(1).toDouble,x(2).toDouble,x(3).toDouble,x(4).toDouble))

这看起来非常笨拙且难以理解。你能建议其他方法吗？

Answer 1

以下是正则表达式的选项：

import org.apache.spark.mllib.linalg.{Vector, Vectors}

val p = "[.0-9]+".r 
val rddVec = dataFrame1.select("KFA")
             .map(x => Vectors.dense(p.findAllIn(x(0).toString).map(_.toDouble).toArray))

# rddVec: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MapPartitionsRDD[49] at map at <console>:39

rddVec.collect
# res43: Array[org.apache.spark.mllib.linalg.Vector] = 
         Array([0.00663,0.00197,0.29809,0.0034], [0.00663,0.00197,0.29809,0.0034])

如何将带有String的DataFrame转换为带有Scala中的Vectors的DataFrame（Spark 2.0）

1 个答案: