如果我通过SBT与所有依赖项组装SPARK / SCALA JAR,我是否可以在给定目标环境中使用尽可能少的(运行时)库将模块部署到Hadoop?给人的印象是这样,但我想我在这里读得太多了。
所以,我不是在讨论各种Hadoop模块。显然,需要火花提交,HDFS模块,Hadoop运行等。另外,一个人可以与Spark-shell交互运行,但没有逃过我。
所以,我的问题是:如果SPARK / SCALA程序集具有所有依赖关系,理论上我不需要SPARK / SCALA软件的哪些方面?
我认为只需要spark-submit模块和JAVA运行时。
我不是JAVA专家,因此我对这个非编程问题进行了仔细检查。