使用纯Java代码连接Spark和Power BI

时间:2019-03-29 17:16:38

标签: apache-spark powerbi spark-thriftserver

我尝试将MS Power BI连接到本地Spark会话(所有操作均在Windows计算机上进行)。 Spark会话的启动是通过一段Java代码完成的(如下所示)。代码工作正常,并且正在从MySQL数据库加载表。

但是,在Spark会话启动日志中,我什至看不到负责提供MS Power BI连接到Spark接口的Thrift服务器。

所以,这是我的问题:需要添加什么Java代码才能启动Thrift服务器并允许MS Power BI访问?预先谢谢你。

SparkSession spark = SparkSession
 .builder()
 .appName("SparkExample")
 .config("hive.server2.transport.mode", "http")
 .config("hive.server2.thrift.port", "52000")
 .config("hive.server2.http.endpoint", "cliservice")
 .config("hive.server2.thrift.bind.host", "0.0.0.0")
 .config("spark.sql.thriftServer.incrementalCollect", false)
 .config("spark.sql.hive.thriftServer.singleSession", true)
 .config("spark.master", "local")
 .config("spark.driver.memory", "512M")
 .getOrCreate();

Dataset<Row> companies = spark.read()
 .format("jdbc")
 .option("driver", "com.mysql.jdbc.Driver")
 .option("url", "jdbc:mysql://localhost:3306/<database>")
 .option("dbtable", <table>")
 .option("user", "<user>")
 .option("password", "<pw>")
 .load();

0 个答案:

没有答案