Question

我有一个Scala Spark应用程序，我正在尝试使用shell脚本在Linux服务器上运行。我收到了错误：

线程“main”中的异常java.lang.IllegalArgumentException：错误在实例化'org.apache.spark.sql.hive.HiveSessionState'时：

然而，我不明白出了什么问题。我这样做是为了实例化Spark：

val sparkConf = new SparkConf().setAppName("HDFStoES").setMaster("local")

      val spark: SparkSession = SparkSession.builder.enableHiveSupport().config(sparkConf).getOrCreate()

我是否正确地执行此操作，如果是这样，可能是错误？

Answer 1

sparkSession = SparkSession.builder().appName("Test App").master("local[*]) .config("hive.metastore.warehouse.dir", hiveWareHouseDir) .config("spark.sql.warehouse.dir", hiveWareHouseDir).enableHiveSupport().getOrCreate();

Use above, you need to specify the "hive.metastore.warehouse.dir" directory to enable hive support in spark session.

在Linux服务器

1 个答案: