无法使用Intellij导入spark.implicit._

Question

import org.apache.spark.sql.SparkSession

object DF_Exple1 {
  val spark: SparkSession=SparkSession.builder().master("local").appName("sparkpika").getOrCreate()
  val data2018 =spark.read.csv("D:\\bigData\\File\\Sales.csv")
  data2018.show()
}

我尝试import spark.implicits ._，但是它已自动隐藏并且无法查看运行状态。

Answer 1

定义主要方法或使用 App 特性将对象扩展，该特性将作为执行的入口点

首先以以下方式创建 SparkSession

import org.apache.spark.sql.SparkSession    
object DF1_Ex extends App{
val Spark = SparkSession
            .builder()
            .appName("Spark SQL basic example")
            .config("spark.some.config.option", "some-value")
            .getOrCreate()

现在导入

import Spark.implicits._

火花在这里是指已经在上方创建的SparkSession