向Spark2解释器添加依赖项后，空指针异常

Question

我正在尝试将此相关性添加到齐柏林飞艇的spark 2解释器中

https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11/2.2.0

但是，添加依赖项后，在运行任何代码时都会出现空指针异常。

Answer 1

您不需要添加spark-sql，它已经在spark解释器中。

Answer 2

只需在笔记本顶部添加%spark.sql即可提供SQL环境

https://zeppelin.apache.org/docs/0.8.0/interpreter/spark.html#overview

Answer 3

我解决了这个问题。我在Scala中定义了一个类。在类内部使用了to_date和date_format方法，但是我的import语句在类外部。我要做的就是将import语句放在类括号内，一切正常。

case class HelperClass(){
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

var fire_services_customDF = fire_servicesDF
var data=fire_servicesDF

def SetDatatypes() : Unit = {
    data=fire_services_customDF.withColumn("CallDateTmp",date_format(to_date(col("CallDate"), "MM/dd/yy"), "yyyy-MM-dd").cast("timestamp"))
}

def PrintSchema() : Unit= {
         data.printSchema
}

}