通过JDBC访问Azure HDInsights中的Spark

时间:2018-03-28 23:25:38

标签: azure apache-spark jdbc hive hdinsight

我可以使用以下URL为Azure中的HDInsight群集外部连接到hive。

jdbc:hive2://<host>:443/default;transportMode=http;ssl=true;httpPath=/

但是,我找不到火花这样的字符串。 documentation表示端口为10002,但外部未打开。如何连接到群集以通过JDBC运行SparkSQL查询?

2 个答案:

答案 0 :(得分:0)

没有一个可用。但您可以在link投票赞成该功能。

答案 1 :(得分:0)

HDInsight与网关一起部署。这就是HDInsight群集开箱即用,只启用HTTPS(端口443)和SSH(端口22,23)与群集通信的原因。如果您不在虚拟网络(vnet)中部署群集,则无法通过其他方式与HDInsight群集通信。因此,如果要访问Spark thrift服务器,则使用端口442而不是端口443。如果您在vnet中部署群集,您还可以通过运行的IP地址(其中一个头节点)和标准端口10002访问thrift服务器。另请参阅documentation.中的公共端口和非公共端口