通过SBT为SPARK / SCALA

时间:2018-01-20 11:30:45

标签: hadoop apache-spark sbt

如果我通过SBT与所有依赖项组装SPARK / SCALA JAR,我是否可以在给定目标环境中使用尽可能少的(运行时)库将模块部署到Hadoop?给人的印象是这样,但我想我在这里读得太多了。

所以,我不是在讨论各种Hadoop模块。显然,需要火花提交,HDFS模块,Hadoop运行等。另外,一个人可以与Spark-shell交互运行,但没有逃过我。

所以,我的问题是:如果SPARK / SCALA程序集具有所有依赖关系,理论上我不需要SPARK / SCALA软件的哪些方面?

我认为只需要spark-submit模块和JAVA运行时。

我不是JAVA专家,因此我对这个非编程问题进行了仔细检查。

0 个答案:

没有答案