如何在MySQL中使用Spark DataFrame

Question

好的，我知道我可以使用jdbc连接器用这个命令创建DataFrame：

val jdbcDF = sqlContext.load("jdbc", 
Map("url" -> "jdbc:mysql://localhost:3306/video_rcmd?user=root&password=123456",
"dbtable" -> "video"))

但是我收到了这个错误：java.sql.SQLException: No suitable driver found for ...

我试图用两个命令将jdbc jar添加到spark_path但是失败了：

• spark-shell --jars mysql-connector-java-5.0.8-bin.jar
• SPARK_CLASSPATH=mysql-connector-java-5.0.8-bin.jar spark-shell

我的Spark版本是1.3.0而Class.forName("com.mysql.jdbc.Driver").newInstance正在使用。

Answer 1

这是因为数据框在类路径中找到了Mysql Connector Jar。这可以通过将jar添加到spark类路径来解决，如下所示：

编辑/ spark / bin / compute-classpath.sh 为

CLASSPATH="$CLASSPATH:$ASSEMBLY_JAR:yourPathToJar/mysql-connector-java-5.0.8-bin.jar"

保存文件并重新启动火花。

Answer 2

您可能想尝试使用mysql-connector-java-5.1.29-bin.jar