如何在Intellij IDEA中运行spark示例程序

时间:2014-01-30 06:03:17

标签: scala intellij-idea apache-spark

首先在我下载的火花项目的根目录的命令行上运行

mvn package

成功了。

然后通过导入spark pom.xml创建了一个intellij项目。

在IDE中,示例类显示正常:找到所有库。这可以在屏幕截图中查看。

但是,当尝试运行main()时,会发生SparkContext上的ClassNotFoundException。

为什么Intellij不能简单地加载和运行这个基于maven的scala程序?什么可以作为一种解决方法?

如下所示,SparkContext在IDE中看起来很好:但是在尝试运行时找不到: enter image description here

通过右键单击main():

来运行测试

enter image description here

..并选择Run GroupByTest

它给出了

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkContext
    at org.apache.spark.examples.GroupByTest$.main(GroupByTest.scala:36)
    at org.apache.spark.examples.GroupByTest.main(GroupByTest.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:120)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkContext
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

这是运行配置:

enter image description here

3 个答案:

答案 0 :(得分:9)

Spark lib不是你的class_path。

执行sbt/sbt assembly

并在您的项目中加入“/assembly/target/scala-$SCALA_VERSION/spark-assembly*hadoop*-deps.jar”。

答案 1 :(得分:3)

这可能有助IntelliJ-Runtime-error-tt11383。将模块依赖关系从提供更改为编译。这对我有用。

答案 2 :(得分:2)

您需要添加spark依赖项。如果你正在使用maven,只需将这些行添加到你的pom.xml:

<dependencies>
    ...
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>
    ...
</dependencies>

这样,您将具有编译和测试目的的依赖性,但不会出现在“jar-with-dependencies”工件中。

但是如果要在intellij中运行的独立集群中执行整个应用程序,可以添加maven配置文件以添加具有编译范围的依赖项。就像这样:

<properties>
    <scala.binary.version>2.11</scala.binary.version>
    <spark.version>1.2.1</spark.version>
    <spark.scope>provided</spark.scope>
</properties>

<profiles>
    <profile>
        <id>local</id>
        <properties>
            <spark.scope>compile</spark.scope>
        </properties>
        <dependencies>
            <!--<dependency>-->
                <!--<groupId>org.apache.hadoop</groupId>-->
                <!--<artifactId>hadoop-common</artifactId>-->
                <!--<version>2.6.0</version>-->
            <!--</dependency>-->
            <!--<dependency>-->
                <!--<groupId>com.hadoop.gplcompression</groupId>-->
                <!--<artifactId>hadoop-gpl-compression</artifactId>-->
                <!--<version>0.1.0</version>-->
            <!--</dependency>-->
            <dependency>
                <groupId>com.hadoop.gplcompression</groupId>
                <artifactId>hadoop-lzo</artifactId>
                <version>0.4.19</version>
            </dependency>
        </dependencies>
        <activation>
            <activeByDefault>false</activeByDefault>
            <property>
                <name>env</name>
                <value>local</value>
            </property>
        </activation>
    </profile>
</profiles>

<dependencies>
    <!-- SPARK DEPENDENCIES -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <scope>${spark.scope}</scope>
    </dependency>
</dependencies>

如果传递了--local,我还为我的应用程序添加了一个启动本地群集的选项:

  private def sparkContext(appName: String, isLocal:Boolean): SparkContext = {
      val sparkConf = new SparkConf().setAppName(appName)
      if (isLocal) {
          sparkConf.setMaster("local")
      }
      new SparkContext(sparkConf)
  }

最后,您必须在Intellij中启用“本地”配置文件才能获得正确的依赖关系。只需转到“Maven Projects”选项卡并启用配置文件。