用于Redshift的Spark SQL模拟（Oracle）＆＃34; SYSDATE＆＃34;或＆＃34; CURRENT_DATE＆＃34;

Question

Spark SQL是否支持获取当前日期的日期函数？

Answer 1

current_date（）适用于Spark 1.5

使用示例：

sqlContext.sql("SELECT current_date() as today FROM eventsAvro").first

输出：

res360: org.apache.spark.sql.Row = [2016-01-29]

Answer 2

我使用org.apache.spark.sql.hive.HiveContext代替org.apache.spark.sql.SQLContext找到了我的问题的解决方案。现在，以下代码按预期工作：

lazy val sc = ... // create Spak Context
lazy val hc = new HiveContext(sc)
val results = hc.sql("SELECT record_name as name FROM test_table WHERE day < current_date")
results.take(10)
  .map(r => s"name: ${r.getAs("name")}")
  .foreach(println)