Question

我正在运行一个嵌套的pyspark SQL查询。在subQuery中，我使用了一个自定义函数，该函数返回一个字典，父查询将使用explode展开字典，以扩展该字典结果。
问题是，即使我返回了字典，主查询仍会将此列类型视为stringType，并且爆炸无法正常工作。

def ff(k,vList):return dict([(k+v,v) for v in vList])

df2 = sqlContext.createDataFrame([Row(a=1, b=1),Row(a=1, b=2)])
df2.registerTempTable("ttt2")
sqlContext.registerFunction('ff',ff)
spark.sql("select a ,(bb) from (select a,ff(a,collect_list(b)) as bb  from ttt2 group by a)").show()
+---+----------+
|  a|        bb|
+---+----------+
|  1|{2=1, 3=2}|
+---+----------+

但是当我在主查询中使用爆炸

spark.sql("select a ,explode(bb) from (select a,ff(a,collect_list(b)) as bb  from ttt2 group by a)").show()
AnalysisException: u"cannot resolve 'explode(__auto_generated_subquery_name.`bb`)' due to data type mismatch: input to function explode should be array or map type, not string; line 1 pos 10;\n'Project [a#178L, unresolvedalias(explode(bb#294), None)]\n+- SubqueryAlias __auto_generated_subquery_name\n   +- Aggregate [a#178L], [a#178L, ff(a#178L, collect_list(b#179L, 0, 0)) AS bb#294]\n      +- SubqueryAlias ttt2\n         +- LogicalRDD [a#178L, b#179L, mapfield#180], false\n"

如何将函数的输出转换为mapType或ArrayType？

Answer 1

您需要为用户定义的函数指定返回类型。默认情况下，registerFunction()会将返回类型设置为string。如果您输入help(sqlContext.registerFunction)，您会看到：

registerFunction（self，name，f，returnType = StringType）

...

除了名称和函数本身之外，还可以选择指定返回类型。       如果未指定返回类型，则默认为字符串，并且转换将自动进行       完成。对于任何其他返回类型，产生的对象必须与指定的类型匹配。

您需要做的是：

from pyspark.sql.types import *
sqlContext.registerFunction('ff',ff,returnType=MapType(StringType(),IntegerType()))

spark.sql(
    "select a,bb from (select a,ff(a,collect_list(b)) as bb from ttt2 group by a)"
).show()
#+---+-------------------+
#|  a|                 bb|
#+---+-------------------+
#|  1|Map(2 -> 1, 3 -> 2)|
#+---+-------------------+

spark.sql(
    "select a,explode(bb) from (select a,ff(a,collect_list(b)) as bb from ttt2 group by a)"
).show()
#+---+---+-----+
#|  a|key|value|
#+---+---+-----+
#|  1|  2|    1|
#|  1|  3|    2|
#+---+---+-----+

在这里，我使用MapType(StringType(), IntegerType())来指定它是字符串（键）到整数（值）的映射。您可能需要根据实际数据进行修改。

将自定义函数的输出从默认StringType转换为pyspark中的mapType

1 个答案: