我用MySQL配置Hive作为我的元存储。我可以输入配置单元外壳并成功创建表。
火花版本:2.4.0
配置单元版本:3.1.1
当我尝试使用spark提交运行SparkSQL程序时,出现以下错误。
pandas dataframe
请让我知道是否有人可以在这方面帮助我。
答案 0 :(得分:0)
我不知道您是否已经解决了这个问题。有我的建议。
hive-site.xml中的默认数据库连接为HikariCP。您可以在hive-site.xml中搜索此内容: datanucleus.connectionPoolingType 。值是HikariCP。因此,由于您将Mysql用作元存储,因此需要将其更改为 dbcp 。
最后,不要忘记将mysql-connector-java-5.x.x.jar添加到类似这样的路径中 /home/hadoop/spark-2.3.0-bin-hadoop2.7/jars