Question

我定制了一个玩具估算器＆＃34; SimpleIndexer＆＃34;在https://www.oreilly.com/learning/extend-spark-ml-for-your-own-modeltransformer-types跟随Holden Karau的教程。问题是在＆＃34; CrossValidator＆＃34;中使用它时出错了。

错误是

Exception in thread "main" java.lang.NoSuchMethodException: ....SimpleIndexerModel.<init>(java.lang.String)
    at java.lang.Class.getConstructor0(Class.java:3082)
    at java.lang.Class.getConstructor(Class.java:1825)
    at org.apache.spark.ml.param.Params$class.defaultCopy(params.scala:846)
    at org.apache.spark.ml.PipelineStage.defaultCopy(Pipeline.scala:42)
    at com.nextperf.feature.SimpleIndexerModel.copy(SimpleIndexer.scala:63)

之前有一个类似的问题 - java.lang.NoSuchMethodException: <Class>.<init>(java.lang.String) when copying custom Transformer。显然这个问题来自＆＃34; copy＆＃34;方法。但我尝试了帖子中提到的解决方案，但它不起作用。

＆＃34; SimpleIndexerModel＆＃34;扩展DefaultParamsWritable特征
添加扩展DefaultParamsReadable接口的Companion对象

class SimpleIndexerModel(override val uid: String, words: Array[String]) extends Model[SimpleIndexerModel] with SimpleIndexerParams with DefaultParamsWritable{ ... ... } object SimpleIndexerModel extends DefaultParamsReadable[SimpleIndexerModel]

这个玩具示例的火花官方实现是＆＃34; StringIndexer＆＃34;。我找不到线索。有谁知道它为什么会发生，以及如何解决问题？

//"StringIndexerModel" works fine
val indexer1 = new StringIndexerModel("abc",Array("a"))
val m1 = indexer1.copy(new ParamMap())
//
//"SimpleIndexerModel" fails
val indexer2 = new SimpleIndexerModel("abc",Array("a"))
// This call throws the exception. 
val m2 = indexer2.copy(new ParamMap())

Answer 1

请参阅Params.defaultCopy的实现：https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/ml/param/params.scala#L845

此方法需要一个只有一个String参数（uid）的构造函数。因此，您可以通过向SimpleIndexerModel类添加构造函数来解决您的问题。

def this(uid: String) = {...}

Apache Spark - NoSuchMethodException：<class>。<init>（java.lang.String）复制自定义Transformer时

1 个答案: