我是新手,但我正在尝试做一些开发。我正在关注"缩短构建时间"来自the spark developer page的说明。在创建了正常的程序集之后,我编写了一些依赖于一个特定jar的类。我在spark-shell中测试我的包,我可以通过使用定义SPARK_CLASSPATH
来包含我的jar,但问题在于实际编译我的代码。我想要实现的是在编译我添加的包时使用该jar(使用build/sbt compile
)。我可以通过在build/sbt
文件或sbt-launch-lib.bash
中添加路径到我的jar,如果是这样的话,我可以这样做吗?
(旁注:我不想在程序集中包含jar,因为我去的时候会对它进行一些更改,因此会很不方便。我使用的是Spark 1.4)
任何帮助表示赞赏!
答案 0 :(得分:1)
根据上面评论中的答案,当你在mllib本身上进行开发时,看起来你正试图将你的jar作为依赖项添加到mllib项目中。您可以通过修改Spark分发中的mllib目录中的pom.xml文件来完成此操作。
您可以在此处找到有关如何将本地文件添加为依赖关系的说明 - http://blog.valdaris.com/post/custom-jar/。我自己没有使用这种方法将本地文件包含为依赖项,但我认为它应该可以工作。