如何在项目外的Spark（Scala）中打包JAR？

Question

我一直在尝试安装Spark（Scala）和Jupyter笔记本。 setup is easy除外，除非您想添加数据库驱动程序之类的东西，在我的情况下尤其如此，这是一个复杂的JAR相互依赖的网络，我花了整整一天的时间来弄清楚。

我还安装了spark localy（Ubuntu 18.04），并遇到了同样的问题，找到了/jar文件夹，然后弄清楚了我需要使用哪个版本的驱动程序，库等。 / p>

所有这些都可以在连接到redshift的Jupyter笔记本中激发火花：@

Answer 1

如果您打算将Scala用于Spark，最好设置/使用Zeppelin笔记本环境而不是Jupyter。当Zeppelin工作之后，创建一个新的笔记本，在一个空白的单元格中，您可以使用％sh magic命令运行Unix样式的命令（如sudo apt-get）来安装所需的其他任何库。