有没有Spark SQL jdbc驱动程序？

Question

我正在寻找支持Spark SQL的客户端jdbc驱动程序。

到目前为止，我一直在使用Jupyter在Spark上运行SQL语句（在HDInsight上运行），我希望能够使用JDBC进行连接，这样我就可以使用第三方SQL客户端（例如SQuirreL，SQL Explorer等） 。）而不是笔记本界面。

我找到了一个来自Microsoft的ODBC驱动程序，但这对基于java的SQL客户端没有帮助。我也尝试从我的集群中下载Hive jdbc驱动程序，但是Hive JDBC驱动程序似乎不支持Spark所做的更高级的SQL功能。例如，Hive驱动程序抱怨不支持不是equajoins的join语句，我知道这是Spark的一个受支持的功能，因为我已经成功地在Jupyter中执行了相同的SQL。

Answer 1

  

Hive JDBC驱动程序似乎不支持Spark所做的更高级的SQL功能

无论它提供什么支持，Spark Thrift服务器都是fully compatible with Hive/Beeline's JDBC connection。

因此，这是您需要使用的JAR。我已在DBVisualizer中验证了这一点。

替代解决方案是直接在Java客户端（非第三方工具）中运行Spark代码，并且不需要JDBC连接。