Question

我是Spark的新手，所以我试图从学习Spark：Lightning-Fast大数据分析这本书中设置一个项目。这本书使用的是1.3版，但我只有2.1.1所以我试图解决一些差异。

我导入到我的Java项目中的所有与Spark相关的jar都有“导入org.apache无法解析”。我知道这是因为项目找不到指定的jar文件。

我可以通过转到Build Path＆gt;手动添加每个。配置构建路径并将它们添加到库部分，但我认为我不应该这样做。该项目使用Maven，所以我相信如果我在我的pom.xml中正确配置了Spark依赖项，它应该可以工作。这是对的吗？

我还设置了以下环境变量：

export SPARK_HOME=/Users/mymac/spark-2.1.1-bin-hadoop2.7/
export PATH="$SPARK_HOME/bin/:$PATH"

还有其他我应该注意的吗？

这是我的pom.xml的内容：

<project>
  <groupId>com.oreilly.learningsparkexamples.mini</groupId>
  <artifactId>learning-spark-mini-example</artifactId>
  <modelVersion>4.0.0</modelVersion>
  <name>example</name>
  <packaging>jar</packaging>
  <version>0.0.1</version>
  <dependencies>
    <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.1.1</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>2.11.8</version>
</dependency>
  </dependencies>
  <properties>
    <java.version>1.8</java.version>
  </properties>
  <build>
    <pluginManagement>
      <plugins>
        <plugin>
      <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-compiler-plugin</artifactId>
          <version>3.5</version>
          <configuration>
            <source>${java.version}</source>
            <target>${java.version}</target>
          </configuration>
    </plugin>
      </plugins>
    </pluginManagement>
  </build>
</project>

Answer 1

这应该设置为Maven项目，而不是Java项目。在我的情况下解决从我的工作区删除项目，在工作区中重新创建它作为一般项目，然后将其转换为Maven项目。我可能应该在开始时将其设置为Maven项目。

在Eclipse

1 个答案: