Spark Map数据类型问题

时间:2018-07-11 03:59:29

标签: sql apache-spark apache-spark-sql

从使用Spark的视图进行选择时遇到以下问题。并且视图定义具有一个或多个具有Map数据类型的表。我们该如何处理?

SQL:

select XXX_ID,count(1) as mtrc_value 
FROM GLOBAL.DDM_VW_CPT
WHERE XXX_ID > date_sub(current_date,8) group by XXX_ID

错误:发生异常-

  

DataFrame中不能包含映射类型的列,该列调用设置操作(相交,除外等),但是event_values列的类型为map ;;

1 个答案:

答案 0 :(得分:0)

XXX_ID应该在group by中:

select XXX_ID,count(1) as  mtrc_value 
FROM GLOBAL.DDM_VW_CPT 
WHERE XXX_ID > date_sub(current_date,8) group by XXX_ID