编译Spark程序：no＆＃39; lib＆＃39;目录

Question

我正在阅读教程：

https://www.tutorialspoint.com/apache_spark/apache_spark_deployment.htm

当我到达Step 2: Compile program部分时，我遇到了问题，因为lib目录中没有spark文件夹，其内容如下：

lib文件夹在哪里？我怎么能编译程序？ 我查看了jars文件夹，但没有名为spark-assembly-1.4.0-hadoop2.6.0.jar

的文件

Answer 1

对不起，我没有直接回答您的问题，但我想引导您进入Spark应用程序更方便的开发过程。

在本地计算机上开发Spark应用程序时，应使用sbt（scala构建工具）。编写完代码后，应该使用sbt（运行sbt assembly）进行编译。 Sbt将生产＆＃39;胖罐＆＃39;存档，已经具有作业的所有必需依赖项。然后你应该将jar上传到spark集群（例如使用spark-submit脚本）。 没有理由在集群上安装sbt，因为仅在编译时需要它。

您应该检查我为您创建的启动器project。