如何在pyspark数据框中选择或删除指定的行

Question

如何在pyspark数据框中选择或删除指定的行？ 例如在数据框中删除第三行

Answer 1

您可以使用where或filter函数来实现此目的，如下所示：-

df.filter($"age" > 15)
df.where($"age" > 15)

更新以按列索引删除

val col = df.columns
val n   = df.columns.length 
val toBeDropped = n-1 // to drop last column  and so on..
val oldDf = df.drop(col(ToBeDropped ))