目前使用spark 2.0.1和2.2.1在我的spark-shell中玩自定义变形金刚。
在编写自定义ml变换器时,为了将其添加到管道中,我注意到复制方法的覆盖存在问题。
在我的案例中,复制方法由TrainValidationSplit的fit方法调用。
我得到的错误:
java.lang.NoSuchMethodException: Custom.<init>(java.lang.String)
at java.lang.Class.getConstructor0(Class.java:3082)
at java.lang.Class.getConstructor(Class.java:1825)
at org.apache.spark.ml.param.Params$class.defaultCopy(params.scala:718)
at org.apache.spark.ml.PipelineStage.defaultCopy(Pipeline.scala:42)
at Custom.copy(<console>:16)
... 48 elided
然后我尝试直接调用复制方法,但我仍然得到同样的错误。
这是myclass和我执行的调用:
import org.apache.spark.ml.Transformer
import org.apache.spark.sql.{Dataset, DataFrame}
import org.apache.spark.sql.types.{StructField, StructType, DataTypes}
import org.apache.spark.ml.param.{Param, ParamMap}
// Simple DF
val doubles = Seq((0, 5d, 100d), (1, 4d,500d), (2, 9d,700d)).toDF("id", "rating","views")
class Custom(override val uid: String) extends org.apache.spark.ml.Transformer {
def this() = this(org.apache.spark.ml.util.Identifiable.randomUID("custom"))
def copy(extra: org.apache.spark.ml.param.ParamMap): Custom = {
defaultCopy(extra)
}
override def transformSchema(schema: org.apache.spark.sql.types.StructType): org.apache.spark.sql.types.StructType = {
schema.add(org.apache.spark.sql.types.StructField("trending", org.apache.spark.sql.types.IntegerType, false))
}
def transform(df: org.apache.spark.sql.Dataset[_]): org.apache.spark.sql.DataFrame = {
df.withColumn("trending", (df.col("rating") > 4 && df.col("views") > 40))
}
}
val mycustom = new Custom("Custom")
// This call throws the exception.
mycustom.copy(new org.apache.spark.ml.param.ParamMap())
有谁知道这是否是一个已知问题?我似乎无法在任何地方找到它。
是否有其他方法可以在自定义转换器中实现复制方法?
由于
答案 0 :(得分:2)
我会更改有关您的自定义Transformer的一些事情(也是为了启用PipelineModel的SerDe操作):
e.g。
class Custom(override val uid: String) extends Transformer
with DefaultParamsWritable {
...
...
}
object Custom extends DefaultParamsReadable[Custom]
如果您只有1个输入/输出列,请查看UnaryTransformer。
最后,需要什么来调用mycustom.copy(new ParamMap())
?