找不到:值udf错误

时间:2016-01-15 01:44:38

标签: scala apache-spark spark-dataframe

我的代码中定义了一个udf,如下所示:

val toOriginalTimestamp = udf((timestamp: String) => timestamp.substring(0, 18))

我试图在我的数据集中获取时间戳字段的子字符串。但是我得到的错误是找不到的:值udf

我做错了什么?

1 个答案:

答案 0 :(得分:5)

你可能需要这个:

import org.apache.spark.sql.functions.udf

另外,请确保您使用的是spark-sql(不仅仅是spark-core!)1.3或更高的依赖项。