尝试运行Spark时出错

时间:2015-05-09 12:32:27

标签: linux git apache-spark

我是新来的火花。我已经下载了针对hadoop 2.6版预装的spark版本1.3.1。我解压缩并导航到该文件夹​​并输入以下命令:   ./bin/spark-shell 为此我得到一个错误,说找不到spark-shell命令。我在使用git bash的Windows上做了同样的事情,我得到一个错误说

spark-submit:找不到第26行tput命令

在尝试运行spark之前我还需要做些什么吗?

3 个答案:

答案 0 :(得分:6)

在Windows上,在常规cmd提示符下,使用spark-shell.cmd 在Linux上,在终端中,cd到您的Spark根目录(如果保留原始名称,则应将其命名为spark-1.3.1-bin-hadoop2.6),然后执行:

./bin/spark-shell

您最近是否更改了.bash_profile?其他命令有什么问题吗?尝试只输入例如你的shell中tar。好还是不好?

编辑 (在下面的第一条评论之后):

以下是如何在 Linux 上启动REPL(日志记录级别仅设置为错误)。
Spark只是我想要使用的Spark版本的符号链接,忽略它并将其作为Spark home目录:

enter image description here

这是 Windows enter image description here

你几乎不能做任何错误的事情是多么简单:)

答案 1 :(得分:1)

在linux中

  
      
  1. 安装scala
  2.   
  3. 安装git
  4.   
  5. Build Spark
  6.   

构建Spark:

$ wget http://archive.apache.org/dist/spark/spark-1.5.0/spark-1.5.0-bin-hadoop2.6.tgz
$ tar xvf spark-1.5.0-bin-hadoop2.6.tgz
$ sudo mv spark-1.5.0-bin-hadoop2.6 /usr/local/spark
$ /usr/local/spark/bin/spark-shell

答案 2 :(得分:-2)

提取并导航到该文件夹​​后,您需要通过以下命令构建Apache Spark:

mvn -DskipTests clean package

您需要通过

安装maven(mvn)
sudo apt-get install maven