我使用以下脚本从MSSQL
服务器读取数据到Pyspark
数据帧。
DFFSA = spark.read.format("jdbc").option("url", jdbcURLDev).option("driver", MSSQLDriver ).option("dbtable", "FSA.dbo.FSA").option("user", "DevUser").option("password", "password").load();
这会生成Pyspark数据帧。我怎么能用pandas数据帧这样做?我知道我可以使用toPandas()
函数将结果数据帧转换为pandas数据帧,但这需要花费大量时间,因为我正在阅读数百万行。