我想在这里做简单过滤我的RDD
rdd1 = [96,104,112]
rdd2 = [112, 30, 384, 96, 288, 352, 104, 368]
所以结果应该是包含rdd2中不在rdd1中的元素的RDD
所以它看起来像，
rdd3 = [30,384,288,352,368]
我们应该如何实现这个目标
我试过这个，
rdd3 = rdd1.map(lambda r: r != r in rdd2)
但这不起作用。如何解决这个问题，
先谢谢
答案 0 :(得分：5)
您可以使用subtract method：
返回self中未包含在其他值中的每个值。
rdd1 = sc.parallelize([96,104,112])
rdd2 = sc.parallelize([112, 30, 384, 96, 288, 352, 104, 368])
rdd2.subtract(rdd1).collect()
## [384, 352, 368, 288, 30]