假设我在spark中有一个数据框df,结构如此。
输入:
amount city
10000 la
12145 ng
14000 wy
18000 la
如何将数据框子集为量> 10000
预期输出:
amount city
12145 ng
14000 wy
18000 la
在R中,我可以这样做:
df1 <- df[df$amount > 10000 ,]
我知道我可以使用spark的SQL来做同样的事情,但是上面的步骤是什么
答案 0 :(得分:0)
来自文档:
val df1 = df.filter($"amount" > 10000)