Pyspark将df分成n个块(n可被视为行数/记录数)

时间:2019-05-22 18:27:20

标签: pyspark bigdata

因此我在PySpark中有一个df,例如它有大约1000行,我想制作新的df。 (1000/40)每个df都应有40条记录,为达到这一目的,我将在一定条件下(循环)进行循环。

我想知道是否有直接方法可以将df分为不同的df,每个记录有40条记录。

我的while循环今天可以很好地运行,但是我不确定将来将如何处理数百万条记录。

0 个答案:

没有答案