获取异常“java.lang.ClassCastException:java.lang.Double无法强制转换为org.apache.spark.ml.linalg.Vector”在数据集创建期间

时间:2017-07-31 13:48:24

标签: java apache-spark apache-spark-mllib

我们正在异常

  

“java.lang.ClassCastException:java.lang.Double无法强制转换为   org.apache.spark.ml.linalg.Vector”

在数据集创建期间

List<Row> setData = new ArrayList<>();
StructType schemasetData = new StructType( new StructField[] 
 {
  new StructField("IsMatch", DataTypes.StringType, false,Metadata.empty()),
  new StructField("combinedscore", new  VectorUDT(), false,Metadata.empty()),
  new StructField("ProductDescriptionScore1", DataTypes.StringType, false,Metadata.empty()),
  new StructField("ProductDescriptionScore2", DataTypes.StringType, false,Metadata.empty()),
  new StructField("ProductDescriptionScore3", DataTypes.StringType, false,Metadata.empty()),
  new StructField("ProductDescriptionScore4", DataTypes.StringType, false,Metadata.empty()),
  new StructField("ProductDescriptionScore5", DataTypes.StringType, false,Metadata.empty()),
  new StructField("ManufacturerScore1", DataTypes.StringType, false,Metadata.empty()),
  new StructField("ManufacturerScore2", DataTypes.StringType, false,Metadata.empty()),
  new StructField("ManufacturerScore3", DataTypes.StringType, false,Metadata.empty()),
 });Dataset<Row> dataset = sparkSession.createDataFrame(setData, schemaSetData);

这是火花中的问题吗?或者如何在Schema向量中处理double。

0 个答案:

没有答案