类型参数[org.apache.spark.ml.linalg.Vector]不符合方法产品的类型参数范围[T <:Product]

时间:2020-10-13 12:27:14

标签: scala apache-spark word2vec

我需要输出Dataset[Vector],但是下面的代码引发了错误。

def main(args: Array[String]) {
    val spark = SparkSession.builder
      .appName("Hello world!")
      .master("local[*]")
      .getOrCreate()
    import spark.implicits._
    //blah blah and read data etc. 
    val word2vec = new Word2Vec()
        .setInputCol("value").setOutputCol("vectors")
        .setVectorSize(5).setMinCount(0).setWindowSize(5)
    val dataset = spark.createDataset(data)

    val model = word2vec.fit(dataset)


    implicit val vectorEncoder: Encoder[Vector] = org.apache.spark.sql.Encoders.product[Vector]
    val result = model.transform(dataset).select("vectors")

    val output = result.map(s => Vectors.dense(s.getDouble(1)))
}

启动程序后立即引发错误:

type arguments [org.apache.spark.ml.linalg.Vector] do not conform to method product's type parameter bounds [T <: Product]
    implicit val vectorEncoder: Encoder[Vector] = org.apache.spark.sql.Encoders.product[Vector]

有什么想法可以解决这个问题吗?

0 个答案:

没有答案