Question

我正在intelliJ中使用带有scala 2.11和spark-sql_2.11的spark 2.1。

当我将getOrCreate()方法与SparkSession一起使用时，出现错误。当我评论getOrCreate()代码时，运行正常。

val spark = SparkSession.builder()
    .appName("SparkSQL")
    .master("local[*]")
    .config("spark.sql.warehouse.dir", "/Users/temp")
    .getOrCreate()

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.internal.config.TypedConfigBuilder.checkValue(Lscala/Function1;Ljava/lang/String;)

Answer 1

检查artifcat spark-sql_2.11的版本，它应该与spark核心相同...下面是我的POM，它工作正常...

SparkSession getOrCreate（）函数错误

1 个答案: