SparkSQL Hive错误:在CLASSPATH中找不到“ HikariCP”

时间:2019-03-02 04:54:51

标签: apache-spark hive apache-spark-sql

我用MySQL配置Hive作为我的元存储。我可以输入配置单元外壳并成功创建表。

火花版本:2.4.0

配置单元版本:3.1.1

当我尝试使用spark提交运行SparkSQL程序时,出现以下错误。

pandas dataframe

请让我知道是否有人可以在这方面帮助我。

1 个答案:

答案 0 :(得分:0)

我不知道您是否已经解决了这个问题。有我的建议。

hive-site.xml中的默认数据库连接为HikariCP。您可以在hive-site.xml中搜索此内容: datanucleus.connectionPoolingType 。值是HikariCP。因此,由于您将Mysql用作元存储,因此需要将其更改为 dbcp

最后,不要忘记将mysql-connector-java-5.x.x.jar添加到类似这样的路径中  /home/hadoop/spark-2.3.0-bin-hadoop2.7/jars