打开spark shell时导致这个`ClassNotFoundException`的原因是什么?

时间:2015-10-15 23:13:49

标签: apache-spark pyspark

我已经在我的mac(OS Mavericks)上下载了预构建版本的Spark,但是当我尝试打开交互式shell时,键入bin/pyspark,我收到以下错误:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/launcher/Main
Caused by: java.lang.ClassNotFoundException: org.apache.spark.launcher.Main
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

我已经搜索了错误的每个部分并检查了一些其他堆栈溢出线程,但我找不到任何解决此错误的内容。知道发生了什么/如何解决它?

我有一个想法是scala是我需要单独下载的依赖...但我真的不知道。

1 个答案:

答案 0 :(得分:0)

之前我遇到了同样的问题,结果是权限问题,我在用户之下无法访问spark文件(root下载的spark)。

另一种可能性是,您从源代码下载了源代码并且没有构建项目:P

希望它有所帮助。