标签: pyspark-sql
Scala版本具有org.apache.spark.sql.Dataset#mapPartitions,但是pyspark.sql.DataFrame没有mapPartitions。我必须先转换为rdd,然后再将其转换回DataFrame。
org.apache.spark.sql.Dataset#mapPartitions
pyspark.sql.DataFrame
mapPartitions
是否有理由在mapPartitions中不支持pyspark.sql.DataFrame?