group by子句中的sparkSQL Map列

Question

我正在将查询从Hive迁移到SparkSQL，但是遇到了Map列的一个问题。

我的查询是

spark.sql(select col1,col2,my_map,count(*) from table group by col1,col2,my_map)

我得到的错误是

`my_map` cannot be used as a grouping expression because its data type map<string,string> is not an orderable data type.;

my_map中的键总是有所不同。我尝试使用已弃用的HiveContext，但是，这没有帮助。有没有解决方法呢？

谢谢！

Answer 1

答案在于错误响应。您需要将my_map变为可订购的数据类型！ ：）