如何从DataFrame中删除特定行?

时间:2017-09-28 13:27:28

标签: python apache-spark pyspark spark-dataframe

我想只选择DataFrame [(a,b,c)]var content = "Hello world"; var filename = "hello.txt"; var blob = new Blob([content], { type: "text/plain" }); window.navigator.msSaveOrOpenBlob(blob, filename); dfd1列中值d2device的行到0。

我执行了以下代码:

id

但是,当我运行此代码时:

df = df.where("id=0 or device in ('d1', 'd2')")

..,我得到了这个结果:

df.select('device').distinct().rdd.map(lambda r: r[0]).collect()

我不明白为什么出现d1 d2 d3 d4 d3

1 个答案:

答案 0 :(得分:1)

你做了

df = df.where("id=0 or device in ('d1', 'd2')") 

现在它将返回id = 0的所有行或df1,df2中的设备。现在id = 0可以将df3 / df4作为设备

如果你想要消除df3,你应该做df4

df = df.where("id=0 and device in ('d1', 'd2')")