标签: pyspark bigdata
因此我在PySpark中有一个df,例如它有大约1000行,我想制作新的df。 (1000/40)每个df都应有40条记录,为达到这一目的,我将在一定条件下(循环)进行循环。
我想知道是否有直接方法可以将df分为不同的df,每个记录有40条记录。
我的while循环今天可以很好地运行,但是我不确定将来将如何处理数百万条记录。