无法在sparkR中使用＆date_add＆＃39; -function

Question

在SparkR（spark-1.4.0）中，我想使用date_add函数。 https://spark.apache.org/docs/latest/api/R/

但是当我在SparkR中输入它时，它表示该功能不存在。怎么可能，我怎么能得到它？

Answer 1

您链接的文档适用于1.5.2版。您的版本可能还没有此功能。根据以下评论，您需要更新Spark和SparkR。

Answer 2

在1.4.0中，可以使用原始SQL调用它：

library(magrittr)

hiveContext <- sparkRHive.init(sc)

df <- createDataFrame(hiveContext, data.frame(ts=c("2015-12-01"))) %>%  
    select(alias(cast(.$ts, "date"), "ts"))

df %>% selectExpr("ts", "date_add(ts, 1) AS next_day") %>% head

##          ts   next_day
## 1 2015-12-01 2015-12-02