我开发了IntelliJIdea的spark应用程序， spark-assembly-1.6.1-hadoop2.6.0 是我的依赖项之一。我想将我的应用程序部署到jar文件并通过spark-submit运行它。是否有必要在jar文件中包含 spark-assembly-1.6.1-hadoop2.6.0 或包含其他依赖项是否足够？
答案 0 :(得分：1)
仅包含其他依赖项是正常的（因此，如果使用maven / sbt / ...，则应标记依赖项）。当你运行spark-submit时，你会在输出日志中注意到你的jar和spark-assembly jar都被上传到hdfs以供以后使用。
答案 1 :(得分：0)
如Learning Spark: Lightning-Fast Big Data Analytics中所述，没有必要在jar文件中包含 spark-assembly-1.6.1-hadoop2.6.0 ：
捆绑应用程序时，不应包括 Spark本身在提交的依赖项列表中。火花提交 自动确保Spark存在于您的路径中 程序