TL; DR

Question

我正在尝试按DataFrame的一列分组，并在每个结果组中生成BigDecimal列的min和max值。结果总是产生很小的值（大约为0）。

（对Double列进行类似的min/max调用会产生预期的非零值。）

作为一个简单的例子：

如果我创建以下DataFrame：

import org.apache.spark.sql.{functions => f}

case class Foo(group: String, bd_value: BigDecimal, d_value: Double)

val rdd = spark.sparkContext.parallelize(Seq(
  Foo("A", BigDecimal("1.0"), 1.0),
  Foo("B", BigDecimal("10.0"), 10.0),
  Foo("B", BigDecimal("1.0"), 1.0),
  Foo("C", BigDecimal("10.0"), 10.0),
  Foo("C", BigDecimal("10.0"), 10.0),
  Foo("C", BigDecimal("10.0"), 10.0)
))

val df = rdd.toDF()

在Double或BigDecimal列中选择max将返回预期结果：

df.select(f.max("d_value")).show()

// +------------+
// |max(d_value)|
// +------------+
// |        10.0|
// +------------+

df.select(f.max("bd_value")).show()

// +--------------------+
// |       max(bd_value)|
// +--------------------+
// |10.00000000000000...|
// +--------------------+

但是，如果我按分组方式进行汇总，则Double列的结果将是合理的，而BigDecimal列的值将接近零：

df.groupBy("group").agg(f.max("d_value")).show()

// +-----+------------+
// |group|max(d_value)|
// +-----+------------+
// |    B|        10.0|
// |    C|        10.0|
// |    A|         1.0|
// +-----+------------+

df.groupBy("group").agg(f.max("bd_value")).show()

// +-----+-------------+
// |group|max(bd_value)|
// +-----+-------------+
// |    B|     1.00E-16|
// |    C|     1.00E-16|
// |    A|      1.0E-17|
// +-----+-------------+

为什么在这些min/max调用中spark会返回零结果？

Answer 1

TL; DR

Spark如何对待BigDecimals的比例似乎存在不一致的地方，这在问题中所示的特定情况下很明显。代码的行为就像是使用BigDecimal对象的比例将Long转换为未缩放的BigDecimal，然后使用架构的比例转换回BigDecimal 。

这可以通过以下任一方式解决：

使用BigDecimal明确设置所有setScale值的比例，以匹配DataFrame的架构，或者
手动指定架构并通过RDD [Row]创建DF

长版

这就是我认为使用Spark 2.4.0的机器上正在发生的事情。

在groupBy.max情况下，Spark正在经历UnsafeRow并将BigDecimal转换为未缩放的 Long并将其存储为字节this行的setDecimal中的数组（已通过print语句验证）。然后，当稍后调用getDecimal时，它将使用模式中指定的标度将字节数组转换回BigDecimal。

如果原始值的比例与架构中的比例不匹配，则将导致错误的值。例如，

val foo = BigDecimal(123456)
foo.scale
0

val bytes = foo.underlying().unscaledValue().toByteArray()

// convert the bytes into BigDecimal using the original scale -- correct value
val sameValue = BigDecimal(new java.math.BigInteger(bytes), 0)
sameValue: scala.math.BigDecimal = 123456

// convert the bytes into BigDecimal using scale 18 -- wrong value
val smaller = BigDecimal(new java.math.BigInteger(bytes), 18)
smaller: scala.math.BigDecimal = 1.23456E-13

如果仅选择bd_value列的最大值，Spark似乎不会通过setDecimal。我尚未证实原因，或去向何方。

但是，这将解释问题中观察到的值。使用相同的案例类Foo：

// This BigDecimal has scale 0
val rdd = spark.sparkContext.parallelize(Seq(Foo("C", BigDecimal(123456), 123456.0)))

// And shows with scale 0 in the DF
rdd.toDF.show
+-----+--------+--------+
|group|bd_value| d_value|
+-----+--------+--------+
|    C|  123456|123456.0|
+-----+--------+--------+

// But the schema has scale 18
rdd.toDF.printSchema
root
 |-- group: string (nullable = true)
 |-- bd_value: decimal(38,18) (nullable = true)
 |-- d_value: double (nullable = false)


// groupBy + max corrupts in the same way as converting to bytes via unscaled, then to BigDecimal with scale 18
rdd.groupBy("group").max("bd_value").show
+-----+-------------+
|group|max(bd_value)|
+-----+-------------+
|    C|  1.23456E-13|
+-----+-------------+

// This BigDecimal is forced to have the same scale as the inferred schema
val rdd = spark.sparkContext.parallelize(Seq(Foo("C",BigDecimal(123456).setScale(18), 123456.0)))

// verified the scale is 18 in the DF
+-----+--------------------+--------+
|group|            bd_value| d_value|
+-----+--------------------+--------+
|    C|123456.0000000000...|123456.0|
+-----+--------------------+--------+


// And it works as expected
rdd1.groupBy("group").max("bd_value").show

+-----+--------------------+
|group|       max(bd_value)|
+-----+--------------------+
|    C|123456.0000000000...|
+-----+--------------------+

这也可以解释为什么从注释中观察到，当从带有显式架构的RDD [Row]转换时，它可以正常工作。

val rdd2 = spark.sparkContext.parallelize(Seq(Row("C", BigDecimal(123456), 123456.0)))

// schema has BigDecimal scale 18
val schema = StructType(Seq(StructField("group", StringType, true), StructField("bd_value", DecimalType(38,18), true), StructField("d_value",DoubleType,false)))

// createDataFrame interprets the value into the schema's scale
val df = spark.createDataFrame(rdd2, schema)

df.show

+-----+--------------------+--------+
|group|            bd_value| d_value|
+-----+--------------------+--------+
|    C|123456.0000000000...|123456.0|
+-----+--------------------+--------+

为什么BigDecimal的Spark groupBy.agg（min / max）始终返回0？

1 个答案:

TL; DR

长版