如何将外部jar文件添加到spark scala项目中

Question

我正在尝试在我的Spark项目中使用Scala（https://github.com/marufaytekin/lsh-spark）的LSH实现。我通过对sbt文件的一些更改克隆了存储库（添加了组织）

要使用此实现，我使用sbt compile编译它并将jar文件移动到＆＃34; lib＆＃34;我的项目的文件夹，并更新了我的项目的sbt配置文件，看起来像这样，

现在当我尝试使用sbt compile编译我的项目时，它无法加载外部jar文件，显示错误消息＆＃34;未解析的依赖项：com.lendap.spark.lsh.LSH＃lsh-scala_2.10 ; 0.0.1-SNAPSHOT：未找到＆＃34;。 我是否按照正确的步骤添加外部jar文件？ 我如何解决依赖性问题

Answer 1

此问题与spark无关，而与sbt配置无关。

确保您遵循sbt强加的正确文件夹结构，并将您的jar添加到lib文件夹中，如here所述 - lib文件夹应与{{build.sbt处于同一级别1}}（参见this post）。

您可能还想查看此SO post。

Answer 2

作为替代方案，您可以构建lsh-spark项目并在spark应用程序中添加jar。 要添加外部jar，可以在执行spark应用程序时使用addJar选项。请参阅Running spark application on yarn