如何将spark-examples.jar包含在maven / sbt项目中作为依赖项?

时间:2017-10-10 18:26:11

标签: apache-spark

spark-examples.jar显然没有发布到maven。尝试在maven / sbt项目中构建这些类时,这是一个复杂的问题。

进一步加剧这个问题的方法是,在完成下载spark,从源代码构建和本地安装的过程中mvn install似乎设置为skip

mvn -pl examples install

[INFO] --- maven-install-plugin:2.5.2:install (default-install) @ spark-examples_2.11 ---
[INFO] Skipping artifact installation

似乎我必须深入了解火花示例pom.xml以了解如何重新启用安装?总的来说,这是一个非常重要的过程:任何指向更快路径的指标都会受到赞赏。

1 个答案:

答案 0 :(得分:0)

看来,创可贴会在OP中暗示:从skip插件调用中移除install

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-install-plugin</artifactId>
    <configuration>
     <!--  <skip>true</skip>  -->
    </configuration>

添加spark-examples依赖关系的更直接的方法仍然会受到赞赏(并且可能会被授予)。