Question

我是新来的火花。我试图用UDF在spark数据帧上执行select语句，但我不能。我在java中编写代码而不是scala。

我的代码是：

DataFrame kafkaDF = sqlCtx.read().json("D:/Normalized/output_raw7.json");
kafkaDF .select("uid", "udftoconvert2long(bytesin)");

在上面的代码中如何编写我自己的udf，即udftoconvert2long

Answer 1

类似

object UDFs {
    def myUdf(bytesIn:String) : Long = ... 


}

然后sqlCtx.udf.register("udftoconvert2long",(bytesIn : String)=> UDFs.myUdf(bytesIn))

Answer 2