spark:如何在build / sbt compile中包含依赖项

时间:2015-07-10 20:49:01

标签: scala hadoop apache-spark

我是新手,但我正在尝试做一些开发。我正在关注"缩短构建时间"来自the spark developer page的说明。在创建了正常的程序集之后,我编写了一些依赖于一个特定jar的类。我在spark-shell中测试我的包,我可以通过使用定义SPARK_CLASSPATH来包含我的jar,但问题在于实际编译我的代码。我想要实现的是在编译我添加的包时使用该jar(使用build/sbt compile)。我可以通过在build/sbt文件或sbt-launch-lib.bash中添加路径到我的jar,如果是这样的话,我可以这样做吗?

(旁注:我不想在程序集中包含jar,因为我去的时候会对它进行一些更改,因此会很不方便。我使用的是Spark 1.4)

任何帮助表示赞赏!

1 个答案:

答案 0 :(得分:1)

根据上面评论中的答案,当你在mllib本身上进行开发时,看起来你正试图将你的jar作为依赖项添加到mllib项目中。您可以通过修改Spark分发中的mllib目录中的pom.xml文件来完成此操作。

您可以在此处找到有关如何将本地文件添加为依赖关系的说明 - http://blog.valdaris.com/post/custom-jar/。我自己没有使用这种方法将本地文件包含为依赖项,但我认为它应该可以工作。