试图在本地Thow上保存PipelineModel ClassNotFoundException:parquet.DefaultSource

时间:2019-04-25 23:17:41

标签: apache-spark

我编写了一个简单的程序,试图创建一个由几个StringIndexers组成的简单PipelineModel,并将其保存在本地文件系统中。

但是我遇到了以下异常-

[junit] Caused by: java.lang.ClassNotFoundException: parquet.DefaultSource
    [junit]     at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
    [junit]     at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    [junit]     at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
    [junit]     at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    [junit]     at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$22$$anonfun$apply$14.apply(DataSource.scala:530)
    [junit]     at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$22$$anonfun$apply$14.apply(DataSource.scala:530)
    [junit]     at scala.util.Try$.apply(Try.scala:192)
    [junit]     at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$22.apply(DataSource.scala:530)
    [junit]     at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$22.apply(DataSource.scala:530)
    [junit]     at scala.util.Try.orElse(Try.scala:84)
    [junit]     at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:530)

我正在使用`pipelineModel.write()。overwrite()。save(“ / tmp / save.model1”)

不确定要获取此parquet.DefaultSource类,我缺少哪个依赖项罐。

有人可以帮我吗?我正在为此使用Java。

谢谢, 普拉萨德

0 个答案:

没有答案