我是学习sparkSQL的新手,并且尝试运行spark文档提供的示例,但出现类似以下错误: enter image description here
我的程序是这样的: enter image description here
我该怎么办。 注意:我正在使用IDEA编辑程序 所有代码:
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Row, SQLContext, SparkSession}
import org.apache.spark.sql.types._
object SqlTest1 {
case class Person(name: String, age:Long)
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.getOrCreate()
import spark.implicits._
runBasicDataFrameExample(spark)
}
private def runBasicDataFrameExample(spark: SparkSession)={
val df = spark.read.json("resorces/people.json")
df.show()
}
}
答案 0 :(得分:0)
Val Conf = new SparkConf(true).setAppName(“ appName”)
Val spark = SparkSession.builder()。config(Conf).getOrCreate()
Val df = spark.read.option(“ timestampFormat”,“ yyyy / MM / dd HH:mm:ss ZZ).json(path)
答案 1 :(得分:0)
可能是Scala版本不匹配。您可以检查scala版本和spark版本。