如何将base2对数应用于Spark中的Int RDD？

Question

将log2应用于我的RDD号码的正确方法是什么？有没有帮助这个的功能？

Answer 1

RDD：

import org.apache.commons.math.util.MathUtils

val rdd: RDD[Double] = ???
rdd.map(x => MathUtils.log(2.0, x))

数据帧：

import org.apache.spark.sql.functions.log2

rdd.toDF("value").select(log2("value"))