Question

我的集群上安装了Spark2.3，这是我运行x=re.findall('^$\d{3}$-\d{3}-\d{4}$', number)时的输出：

spark2-shell

和这里的错误：

> Spark context available as 'sc' (master = yarn, app id =
> application_1549677994084_2179). Spark session available as 'spark'.
> Welcome to
>       ____              __
>      / __/__  ___ _____/ /__
>     _\ \/ _ \/ _ `/ __/  '_/    /___/ .__/\_,_/_/ /_/\_\   version 2.3.0.cloudera3
>       /_/
> 
> Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java
> 1.8.0_121)

然后我按如下所示导入SparkSession：

> scala> val spark = new SparkSession.builder().getOrCreate()
> <console>:25: error: not found: value SparkSession
>        val spark = new SparkSession.builder().getOrCreate()
>                        ^

它与

一起使用

scala> import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SparkSession scala> val spark = new SparkSession.builder().getOrCreate() <console>:26: error: type builder is not a member of object org.apache.spark.sql.SparkSession val spark = new SparkSession.builder().getOrCreate() ^ scala>

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

为什么SparkSession在Spark2上无法正常工作？

谢谢。

Answer 1

Spark会话是Spark-shell的默认设置。请检查您的屏幕截图。'

**火花上下文可作为'sc'使用（主=纱线，应用程序ID =

application_1549677994084_2179）。 Spark会话可作为“火花”使用。**

您可以直接使用spark.sql或spark.read

Answer 2

在Spark shell中，您应该使用scala进行扩展，而这将是

val spark = SparkSession.builder.appName("Simple Application").getOrCreate()

在SparkSession之前没有新内容。

您可以尝试以下示例Self Contained Applications

为什么SparkSession在Spark2.3中不可用

2 个答案: