Spark数据集to_date / year函数

Question

我正在尝试从数据集过滤器中对象的时间戳列中提取日期。我想找到所有在2010年登录的人

class Person{
String name;
Timestamp loggedat;
}
List<Person> persons;
Dataset<Person> ds = spark.createDataset(
                persons,
                Encoders.bean(Person.class)
            );
ds.select(to_date(ds.col("loggedat"),"y")==2010);

此选择似乎不起作用。请帮助我们如何从时间戳中提取年份并过滤掉数据。

Answer 1

要获得年份部分，您应该使用"yyyy"函数传递to_date。

参考：Spark-SQL Api doc