Question

我有JSON数据集，其中包含字符串中的价格，例如＆＃34; USD 5.00＆＃34;。我想将数字部分转换为Double以在MLLIB LabeledPoint中使用，并设法将价格字符串拆分为字符串数组。下面创建一个具有正确结构的数据集：

import org.apache.spark.mllib.linalg.{Vector,Vectors}
import org.apache.spark.mllib.regression.LabeledPoint


case class Obs(f1: Double, f2: Double, price: Array[String])

val obs1 = new Obs(1,2,Array("USD", "5.00"))
val obs2 = new Obs(2,1,Array("USD", "3.00"))

val df = sc.parallelize(Seq(obs1,obs2)).toDF()
df.printSchema
df.show()

val labeled = df.map(row => LabeledPoint(row.get(2).asInstanceOf[Array[String]].apply(1).toDouble, Vectors.dense(row.getDouble(0), row.getDouble(1))))

labeled.take(2).foreach(println)

输出如下：

df: org.apache.spark.sql.DataFrame = [f1: double, f2: double, price: array<string>]
root
 |-- f1: double (nullable = false)
 |-- f2: double (nullable = false)
 |-- price: array (nullable = true)
 |    |-- element: string (containsNull = true)

+---+---+-----------+
| f1| f2|      price|
+---+---+-----------+
|1.0|2.0|[USD, 5.00]|
|2.0|1.0|[USD, 3.00]|
+---+---+-----------+

然后我最终获得了ClassCastException：

java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;

我认为ClassCastException是由println引起的。但我并没有期待它;我该如何处理这种情况？

潜在的重复解决了我的问题的一部分（谢谢），但是在数据框中促进结构元素的更深层次的问题仍然存在＆＃34;。我会让mods确定这是否真的是一种欺骗。

Answer 1

我认为问题在这里：

.asInstanceOf[Array[String]]

Answer 2

让我提出一个替代解决方案，我认为比使用所有FormRequest更清晰：

asInstanceOf

关于您的问题，import org.apache.spark.ml.feature.VectorAssembler import org.apache.spark.sql.Row val assembler = new VectorAssembler() .setInputCols(Array("f1", "f2")) .setOutputCol("features") val labeled = assembler.transform(df) .select($"price".getItem(1).cast("double"), $"features") .map{case Row(price: Double, features: Vector) => LabeledPoint(price, features)}作为ArrayType存储在Row中，因此您会看到错误。你可以使用

WrappedArray

或只是

import scala.collection.mutable.WrappedArray

row.getAs[WrappedArray[String]](2)

在Scala / Spark中将String转换为Double？

2 个答案: