Python从SQL读取到pandas数据帧

时间:2018-03-21 16:16:44

标签: python pandas pyspark spark-dataframe pyspark-sql

我使用以下脚本从MSSQL服务器读取数据到Pyspark数据帧。

DFFSA = spark.read.format("jdbc").option("url", jdbcURLDev).option("driver", MSSQLDriver ).option("dbtable", "FSA.dbo.FSA").option("user", "DevUser").option("password", "password").load();

这会生成Pyspark数据帧。我怎么能用pandas数据帧这样做?我知道我可以使用toPandas()函数将结果数据帧转换为pandas数据帧,但这需要花费大量时间,因为我正在阅读数百万行。

0 个答案:

没有答案