我是新来的火花。我已经下载了针对hadoop 2.6版预装的spark版本1.3.1。我解压缩并导航到该文件夹并输入以下命令: ./bin/spark-shell 为此我得到一个错误,说找不到spark-shell命令。我在使用git bash的Windows上做了同样的事情,我得到一个错误说
spark-submit:找不到第26行tput命令
在尝试运行spark之前我还需要做些什么吗?
答案 0 :(得分:6)
在Windows上,在常规cmd提示符下,使用spark-shell.cmd
在Linux上,在终端中,cd
到您的Spark根目录(如果保留原始名称,则应将其命名为spark-1.3.1-bin-hadoop2.6
),然后执行:
./bin/spark-shell
您最近是否更改了.bash_profile?其他命令有什么问题吗?尝试只输入例如你的shell中tar
。好还是不好?
编辑 (在下面的第一条评论之后):
以下是如何在 Linux 上启动REPL(日志记录级别仅设置为错误)。
Spark
只是我想要使用的Spark版本的符号链接,忽略它并将其作为Spark home目录:
这是 Windows :
你几乎不能做任何错误的事情是多么简单:)
答案 1 :(得分:1)
在linux中
- 安装scala
- 安装git
- Build Spark
醇>
构建Spark:
$ wget http://archive.apache.org/dist/spark/spark-1.5.0/spark-1.5.0-bin-hadoop2.6.tgz
$ tar xvf spark-1.5.0-bin-hadoop2.6.tgz
$ sudo mv spark-1.5.0-bin-hadoop2.6 /usr/local/spark
$ /usr/local/spark/bin/spark-shell
答案 2 :(得分:-2)
提取并导航到该文件夹后,您需要通过以下命令构建Apache Spark:
mvn -DskipTests clean package
您需要通过
安装maven(mvn)sudo apt-get install maven