获取Spark Shell的默认方法似乎是to download the distribution from the website。但是,this spark issue提到可以通过sbt
安装它。我找不到关于此的文档。在使用spark-sql
和spark-core
的sbt项目中,找不到spark-shell
二进制文件。
您如何从sbt运行spark-shell
?
答案 0 :(得分:2)
从以下URL:
https://bzhangusc.wordpress.com/2015/11/20/use-sbt-console-as-spark-shell/
如果您已经在项目中使用Sbt,则设置Sbt Console替换Spark-shell命令非常简单。 让我们从基本情况开始。使用sbt设置项目时,您可以简单地以
的身份运行控制台sbt console
在控制台中,您只需启动SparkContext和SQLContext使其表现得像Spark Shell
scala> val sc = new org.apache.spark.SparkContext("localhell")
scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)