Spark 2.4.3-数据库表架构具有数字类型时该怎么办?

时间:2019-09-24 16:54:23

标签: apache-spark pyspark pyspark-dataframes

我需要使用spark从数据库表(Teradata)加载数据,但是该表的模式为NUMBER类型,没有精度和小数位数。正如我们在这里看到的https://github.com/apache/spark/pull/8780

因此,当我加载包含这些列中具有浮点值的“ NUMBER”列的表时,在spark数据框中,这些值的精度显示为NUMBER(38,0),并且这些值的精度丢失了

示例:

Teradata:

values
50.00
94.30
23.30
20.01

数据帧火花:

values
50
94
23
20

有人可以帮我吗?

0 个答案:

没有答案