通过spark jdbc connector

时间:2015-11-03 13:09:23

标签: java mysql jdbc apache-spark pyspark

嘿,我有一个安装了spark 1.5.0的EMR集群。

我正在尝试连接到RDS中的一个表并提取一些数据。 我从官方的mysql站点(http://dev.mysql.com/downloads/connector/j/)下载了最新的jar文件 我下载并解压缩了文件/ home / hadoop / connectors并在spark-defaults.conf文件中添加了这个路径。

我设法使用此连接创建数据框

df=sqlContext.read.format('jdbc')
   .options(url="jdbc:mysql://dw-mysql-replica.gtforge.com:3306/dwh?
         user=  <usr>l&password=<pass>", 
         dbtable='<table>')
   .load()

并设法打印架构

df.printSchema()

但是当我试图实现这个数据框(AKA df.take(1)或df.collect())时,它会抛出以下错误:

"java.sql.SQLException: No suitable driver found for jdbc:mysql://dw-mysql-
 replica.gtforge.com:3306...."

由于

0 个答案:

没有答案