我正在为Spark SQL获取JSON过滤条件。 JSON的格式为:
{
"x": {
"LT": "2"
}
}
应该变成:spark.sql("Select * from df where x < 2")
知道我该怎么办?使用
从镶木地板文件中读取数据spark.read.parquet(filePath)
所以代码如下:
val df = spark.read.parquet(filePath)
implicit val formats = org.json4s.DefaultFormats
parse(filterJson).extract[Map[String, Any]]
// Once tables have been registered, you can run SQL queries over them.
for((k,v)<-Map){
v match {
case "EQ"=>"==="
case "GT"=>">"
case "LT"=>"<"
}
}
df.filter(k)
任何帮助将不胜感激。