在API网关中基于JSON创建scala过滤条件

时间:2017-07-26 08:04:14

标签: scala filter apache-spark-sql

我正在为Spark SQL获取JSON过滤条件。 JSON的格式为:

{
    "x": {
        "LT": "2"
    }
}

应该变成:spark.sql("Select * from df where x < 2")

知道我该怎么办?使用

从镶木地板文件中读取数据
spark.read.parquet(filePath)

所以代码如下:

val df = spark.read.parquet(filePath)
implicit val formats = org.json4s.DefaultFormats
parse(filterJson).extract[Map[String, Any]]
// Once tables have been registered, you can run SQL queries over them.
for((k,v)<-Map){
  v match {
    case "EQ"=>"==="
    case "GT"=>">"
    case "LT"=>"<"
  }
}
df.filter(k)

任何帮助将不胜感激。

0 个答案:

没有答案