从sbt运行spark-shell

时间:2019-06-24 09:05:07

标签: scala apache-spark sbt spark-shell

获取Spark Shell的默认方法似乎是to download the distribution from the website。但是,this spark issue提到可以通过sbt安装它。我找不到关于此的文档。在使用spark-sqlspark-core的sbt项目中,找不到spark-shell二进制文件。

您如何从sbt运行spark-shell

1 个答案:

答案 0 :(得分:2)

从以下URL:

https://bzhangusc.wordpress.com/2015/11/20/use-sbt-console-as-spark-shell/

  

如果您已经在项目中使用Sbt,则设置Sbt Console替换Spark-shell命令非常简单。   让我们从基本情况开始。使用sbt设置项目时,您可以简单地以sbt console

的身份运行控制台      

在控制台中,您只需启动SparkContext和SQLContext使其表现得像Spark Shell

scala> val sc = new org.apache.spark.SparkContext("localhell")
scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)