Question

我有一个名为values的向量集合，我正在尝试将其转换为数据帧

scala.collection.immutable.Vector[(String, Double)] = Vector((1,1.0), (2,2.4), (3,3.7), (4,5.0), (5,4.9))

我已经定义了以下自定义架构，并尝试进行转换。

val customSchema = new StructType()
    .add("A", IntegerType, true)
    .add("B", DoubleType, true)

val df = values.toDF.schema(customSchema)

这给了我一个错误，说

error: overloaded method value apply with alternatives:
  (fieldIndex: Int)org.apache.spark.sql.types.StructField <and>
  (names: Set[String])org.apache.spark.sql.types.StructType <and>
  (name: String)org.apache.spark.sql.types.StructField
 cannot be applied to (org.apache.spark.sql.types.StructType)

我尝试了here和here以及StructType documentation描述的所有方法来创建模式。但是，所有方法都导致相同的自定义架构customSchema: org.apache.spark.sql.types.StructType = StructType(StructField(A,IntegerType,true), StructField(B,DoubleType,true))

toDF方法在没有自定义架构的情况下也可以正常工作。但是我想强制自定义架构。有人可以告诉我我在做什么错吗？

Answer 1

schema是一个属性。要获取StructType或DataFrame中的Dataset时，应使用架构。

val df = values.toDF
df.schema
//prints
StructType(StructField(_1,IntegerType,false), StructField(_2,DoubleType,false))

要将向量转换为DataFrame或Dataset，可以使用spark.createDataFrame或spark.createDataset。这些方法已重载，它们期望RDD或JavaRDD或java.util.List或Row和架构信息。您可以执行以下操作将Vector转换为DataFrame：

val df = spark.createDataFrame(vec.toDF.rdd, customSchema)
df.schema
//prints
StructType(StructField(A,IntegerType,true), StructField(B,DoubleType,true))

希望对您有帮助！

将Vector集合转换为数据框时发生架构错误

1 个答案: