Question

我正在尝试使用Hive和MySQL支持的metadatastore配置Apache Spark。我收到以下异常

Caused by: java.sql.SQLException: No suitable driver found for jdbc:mysql://<correct-information>

我能够使用以下命令启动spark-shell

bin/spark-shell --jars /usr/share/java/mysql-connector-java.jar

然后我运行以下命令

scala> Class.forName("com.mysql.jdbc.Driver")
res0: Class[_] = class com.mysql.jdbc.Driver

scala> new org.apache.spark.sql.hive.HiveContext(sc).sql("select * from table limit 1").first

我得到的例外很多，但这里是最顶层的

Unable to open a test connection to the given database. JDBC url = jdbc:mysql://<hostname>/metastore, username = hiveuser. Terminating connection pool. Original Exception: ------
java.sql.SQLException: No suitable driver found for jdbc:mysql://<hostname>/metastore

这个非常简单的查询在hive命令行中运行良好。第一个spark命令显示mysql JDBC驱动程序在类路径上，但它似乎仍然无法找到它。有没有人有任何想法？

由于

Answer 1

事实证明，正确的Spark标志是--driver-class-path

Hive with Spark和MySQL metadatastore

1 个答案: