在没有其他功能的情况下使用Spark，但保留列值

Question

我经常发现自己使用替换列中的值

when($"myCol".isNull,myCrazyFunction).otherwise($"myCol")

在我看来.otherwise($"myCol")有点多余。

是否有更好的方法来替换某些条件下的某些值，否则就不使用else而是保留所有内容？

Answer 1

我认为您可以使用coalesce()。

select(coalesce($"myCol", myCrazyFunction))

请记住，myCrazyFunction应该返回Column类型。