java.lang.ClassNotFoundException：org.apache.spark.sql.Dataset

Question

运行使用Spark Dataset类型的Scala文件时，我得到以下堆栈跟踪：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/Dataset
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    at java.lang.Class.getMethod0(Class.java:3018)
    at java.lang.Class.getMethod(Class.java:1784)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:125)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.Dataset
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 6 more

我发现这很奇怪，因为我有以下导入：

import org.apache.spark.sql._

此外，在我的build.sbt中，我将以下内容添加到libraryDependencies：

  "org.apache.spark" %% "spark-core" % "1.6.2" % "provided",
  "org.apache.spark" %% "spark-sql" % "1.6.2" % "provided",

Answer 1

如果您正在执行此独立版，则可以尝试从依赖项中删除provided。提供意味着您在运行此应用程序时希望依赖项已经在类路径上。因此，如果您使用provided，则不会在您的jar中包含Spark依赖项。

Answer 2

您的build.sbt文件指定将spark依赖项提供给应用程序的类路径，但它无法找到它们。如果您未在群集上运行，则可以尝试删除＆＃34;提供的＆＃34;来自build.sbt，或者将Spark依赖项放在类路径上。

Answer 3

在“运行/调试配置”中选中“包括具有“提供的”作用域的依赖项”复选框。

Answer 4

在 IntelliJ 2020.3.2 社区版中，转到菜单 run，然后转到 edit configurations。最后，在 Modify options 中选择 'Include dependencies with "Provided" scope'。