提交火花无法连接到配置单元

时间:2019-09-19 09:44:19

标签: hive

我可以连接到配置单元,并可以在spark-shell和spark-sql中成功访问它们。但是,当我通过spark-submit提交程序时,无法连接到它并蜂巢。它与配置单元的信息不匹配。

我尝试设置spark.sql.warehouse.dir和hive.metastore.uris无法正常工作。 但是结果只是真实的默认数据库,这显然不是我想要的,我认为spark-submit没有连接到蜂巢

val conf = new SparkConf().setAppName("clean data")
    val sc = new SparkContext(conf)
    val spark = SparkSession.builder().config(conf).config("spark.sql.warehouse.dir", "/warehouse/tablespace/external/hive").enableHiveSupport().getOrCreate()

val hiveContext = new HiveContext(sc)
hiveContext.setConf("hive.metastore.uris", "thrift://hive.bignuo.net:9083")
spark.sql("show databases").show()
hiveContext.sql("show databases").show()

我的配置单元中有很多数据库,但是它表明默认和配置单元中的数据库不一致。

0 个答案:

没有答案