我尝试将MS Power BI连接到本地Spark会话(所有操作均在Windows计算机上进行)。 Spark会话的启动是通过一段Java代码完成的(如下所示)。代码工作正常,并且正在从MySQL数据库加载表。
但是,在Spark会话启动日志中,我什至看不到负责提供MS Power BI连接到Spark接口的Thrift服务器。
所以,这是我的问题:需要添加什么Java代码才能启动Thrift服务器并允许MS Power BI访问?预先谢谢你。
SparkSession spark = SparkSession
.builder()
.appName("SparkExample")
.config("hive.server2.transport.mode", "http")
.config("hive.server2.thrift.port", "52000")
.config("hive.server2.http.endpoint", "cliservice")
.config("hive.server2.thrift.bind.host", "0.0.0.0")
.config("spark.sql.thriftServer.incrementalCollect", false)
.config("spark.sql.hive.thriftServer.singleSession", true)
.config("spark.master", "local")
.config("spark.driver.memory", "512M")
.getOrCreate();
Dataset<Row> companies = spark.read()
.format("jdbc")
.option("driver", "com.mysql.jdbc.Driver")
.option("url", "jdbc:mysql://localhost:3306/<database>")
.option("dbtable", <table>")
.option("user", "<user>")
.option("password", "<pw>")
.load();