使用本地.jar作为scala中编写的spark应用程序的依赖项

Question

我正在构建一个spark应用程序，使用aerospike-spark客户端从Aerospike键值存储中提取数据。我已按照https://github.com/aerospike/aerospark中的说明构建.jar文件 现在，我计划在另一个spark应用程序中使用这个.jar，在spark-submit中提供它：

bin / spark-submit --jars my_jar.jar

现在，为了实现这个目标，我应该在build.sbt文件中包含哪些内容？

Answer 1

在这种情况下，您希望在您自己的火花应用程序中使用aerospark作为库。在aerospark项目中，您可以运行命令：sbt publish-local，它将jar发布到ivy2本地存储库。

然后在build.sbt文件中添加libraryDependencies，将aerospike-spark视为标准库。