如果不预先安装Scala,spark-shell如何工作?

时间:2014-12-21 14:50:48

标签: apache-spark

我已经下载了Spark 1.2.0(为Hadoop 2.4预先构建)。在快速启动文档中,它说:

  

它可以在Scala或Python中使用。

令我困惑的是,我的计算机之前没有单独安装Scala(OS X 10.10),但是当我输入spark-shell时,它运行良好,输出显示:

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_25)

如屏幕截图所示:

enter image description here

之前我没有安装任何Scala发行版。

如果没有Scala,spark-shell如何运行?

2 个答案:

答案 0 :(得分:4)

tl; dr Scala二进制文件已经包含在Spark中(为了让Spark用户的生活更轻松)。

Spark Overview正在下载下,您可以了解运行Spark所需的内容:

  

Spark在Windows和类UNIX系统(例如Linux,Mac OS)上运行。   在一台机器上本地运行很容易 - 你需要的就是拥有java   安装在您的系统PATH或JAVA_HOME环境变量上   指向Java安装。

     

Spark运行在Java 6+和Python 2.6+上。对于Scala API,Spark 1.2.0   使用Scala 2.10。您需要使用兼容的Scala版本   (2.10.x)。

答案 1 :(得分:0)

Scala程序(包括spark-shell)被编译为Java字节代码,可以与Java虚拟机(JVM)一起运行。因此,只要安装了JVM,即java命令,就可以运行用Scala编写的Spark相关工具。