更改Spark数据帧中所有“双类型”列的十进制精度

时间:2017-09-28 06:29:39

标签: scala apache-spark apache-spark-sql spark-dataframe

我有一个Spark DataFrame,让我们说'df'。

我对此DataFrame执行以下简单聚合:

df.groupBy().sum()

这样做,我得到以下异常:

java.lang.IllegalArgumentException: requirement failed: Decimal precision 39 exceeds max precision 38

有什么方法可以解决这个问题吗?

我的猜测是,如果我可以减少df中所有double类型列的小数精度,它就可以解决问题。

0 个答案:

没有答案