替换/转换rdd的元素

Question

我是Apache spark的新手，我有一个问题。

如果rdd的元素是rdd=[0.0, 1.49, 2.48, 2.72, 2.45]，我怎样才能转换这个rdd，使得小于2的所有值都变换为-1并且休息为0？ 即rdd_transformed=[-1,-1,0,0,0]

我尝试了以下内容，但我担心我的语法不正确。

b=2
rdd.map(lambda a: (a,b)).reduce(lambda a,b: -1 if (a<b) else 0)

Answer 1

要回答您的问题（希望如此），请尝试以下方法：

rdd.map(lambda a: -1 if a < 2 else 0)