我编写了一个简单的程序,试图创建一个由几个StringIndexers组成的简单PipelineModel,并将其保存在本地文件系统中。
但是我遇到了以下异常-
[junit] Caused by: java.lang.ClassNotFoundException: parquet.DefaultSource
[junit] at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
[junit] at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
[junit] at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
[junit] at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
[junit] at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$22$$anonfun$apply$14.apply(DataSource.scala:530)
[junit] at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$22$$anonfun$apply$14.apply(DataSource.scala:530)
[junit] at scala.util.Try$.apply(Try.scala:192)
[junit] at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$22.apply(DataSource.scala:530)
[junit] at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$22.apply(DataSource.scala:530)
[junit] at scala.util.Try.orElse(Try.scala:84)
[junit] at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:530)
我正在使用`pipelineModel.write()。overwrite()。save(“ / tmp / save.model1”)
不确定要获取此parquet.DefaultSource类,我缺少哪个依赖项罐。
有人可以帮我吗?我正在为此使用Java。
谢谢, 普拉萨德