Question

我是Spark新手，我正在使用Scala创建基本分类器。我正在从文本文件中读取数据集并将其拆分为训练和测试数据集。然后我试图对训练数据进行标记，但是

失败了

Caused by: java.lang.IllegalArgumentException: requirement failed: Input type must be string type but got ArrayType(StringType,true).
at scala.Predef$.require(Predef.scala:224)
at org.apache.spark.ml.feature.RegexTokenizer.validateInputType(Tokenizer.scala:149)
at org.apache.spark.ml.UnaryTransformer.transformSchema(Transformer.scala:110)
at org.apache.spark.ml.Pipeline$$anonfun$transformSchema$4.apply(Pipeline.scala:180)
at org.apache.spark.ml.Pipeline$$anonfun$transformSchema$4.apply(Pipeline.scala:180)
at scala.collection.IndexedSeqOptimized$class.foldl(IndexedSeqOptimized.scala:57)
at scala.collection.IndexedSeqOptimized$class.foldLeft(IndexedSeqOptimized.scala:66)
at scala.collection.mutable.ArrayOps$ofRef.foldLeft(ArrayOps.scala:186)
at org.apache.spark.ml.Pipeline.transformSchema(Pipeline.scala:180)
at org.apache.spark.ml.PipelineStage.transformSchema(Pipeline.scala:70)
at org.apache.spark.ml.Pipeline.fit(Pipeline.scala:132)
at com.classifier.classifier_app.App$.<init>(App.scala:91)
at com.classifier.classifier_app.App$.<clinit>(App.scala)
... 1 more

错误。

代码如下：

val input_path = "path//to//file.txt"

case class Sentence(value: String)
val sentencesDS = spark.read.textFile(input_path).as[Sentence]  

val Array(trainingData, testData) = sentencesDS.randomSplit(Array(0.7, 0.3))     

val tokenizer = new Tokenizer()
  .setInputCol("value")
  .setOutputCol("words")

val pipeline = new Pipeline().setStages(Array(tokenizer, regexTokenizer, remover, hashingTF, ovr))
val model = pipeline.fit(trainingData)

我该如何解决这个问题？任何帮助表示赞赏。

我已定义了管道中的所有阶段，但尚未将它们放在代码段中。

Answer 1

当管道中的执行顺序发生变化时，错误得以解决。

val pipeline = new Pipeline().setStages(Array (indexer, regexTokenizer, remover, hashingTF))
val model = pipeline.fit(trainingData)

令牌化程序已替换为regexTokenizer。

Answer 2

使用本指南

http://spark.apache.org/docs/latest/ml-pipeline.html#pipeline-components

请提供整个代码，从上面的代码片段中可以看出是否已经定义了所有必需的参数setStages方法。

输入类型必须是字符串类型，但使用Scala在Spark中得到ArrayType（StringType，true）错误

2 个答案: