SparkSQL使用Python从MySQL数据库表中读取

Question

我有一个＆＃39;用户＆＃39; MySQL中的表。我想把它读到我的Spark SQL程序。如何使用Python将表从MySQL读取到Apache Spark的SparkSQL模块？我可以使用连接器执行此任务吗？ 感谢。

Answer 1

有一个similar question answered。像这样开始pyspark

./bin/pyspark --packages mysql:mysql-connector-java:5.1.38

然后运行

sqlContext.read.format("jdbc").options(
url ="jdbc:mysql://localhost/mysql",
driver="com.mysql.jdbc.Driver",
dbtable="user",
user="root",
password=""
).load().take(10) 

这很可能只是起作用。但这取决于你的mysql设置，所以如果它不尝试更改密码，用户名，db-url和其他设置。