我正在尝试在spark中查询来自Hive的数据。根据{{3}},有两种方法可以做到这一点:
第一种方式是使用enableHiveSupport
SparkSession session = SparkSession.builder().enableHiveSupport().getOrCreate();
session.sql("select dw_date from tfdw.dwd_dim_date limit 10").show();
数据集显示正确的结果 spark-sql
第二种方式是通过JDBC
Dataset<Row> ds = session.read()
.format("jdbc")
.option("driver", "org.apache.hive.jdbc.HiveDriver")
.option("url", "jdbc:hive2://iZ11syxr6afZ:21050/;auth=noSasl")
.option("dbtable", "tfdw.dwd_dim_date")
.load();
ds.select("dw_date").limit(10).show();
我认为这两张照片应该是一致的。我错过了什么优秀的?非常感谢!