Question

我在Databricks上，我有一个表，其中的values列行由数组组成。数组本身由浮点数组成。我需要一个新列来汇总这些数组。

我受到Databricks博客文章的启发：https://databricks.com/blog/2017/05/24/working-with-nested-data-using-higher-order-functions-in-sql-on-databricks.html

我尝试过：

SELECT   key,
         values,
         REDUCE(values, 0, (value, acc) -> value + acc) summed_values_simple
FROM     nested_data

但是它不起作用。该错误消息是关于：

due to data type mismatch: argument 3 requires int type, however, 'lambdafunction' is of float type.

如果我使用int类型，那么它将起作用！但是我不使用整数。我正在尝试找出解决这个问题的方法。

这是可复制的表格：

CREATE OR REPLACE TEMPORARY VIEW nested_data AS
SELECT   id AS key,

         ARRAY(CAST(RAND(1) * 100 AS FLOAT), CAST(RAND(2) * 100 AS FLOAT), 
         CAST(RAND(3) * 100 AS FLOAT), CAST(RAND(4) * 100 AS FLOAT), CAST(RAND(5) * 100 AS FLOAT)) AS values

FROM range(5)

预期输出应如下所示：

key values                           summed_values_simple
0   [26.3, 11.6, 66.0, 8.7,  47.6]    160.2
1   [66.0, 8.7,  47.6, 91.4, 6.4]     220.1
2   [8.7,  47.6, 91.4, 6.4,  70.6]    224.7
3   [91.4, 6.4,  70.6, 41.3, 19.8]    219.5
4   [6.4,  70.6, 41.3, 19.8, 12.0]    150.1

也许我不应该坚持使用高阶函数，还有另一种不错的方法。感谢您提供解决此问题的建议。

Answer 1

Spark SQL中的高阶函数此时对类型相当挑剔，您必须确保输入和输出都符合预期的类型。

在这里先CAST个累加器就足够了。

SELECT *, aggregate(
  values,
  CAST(0 AS double),  -- Accumulator has to be of the same type as the input
  (value, acc) -> value + acc) summed_values_simple
FROM nested_data

聚合ArrayType行由使用高阶函数的浮点数组成

1 个答案: