pySpark无法读取小数列。怪异的演员

时间:2018-06-21 10:55:07

标签: pyspark apache-spark-sql

在pySpark中,我正在使用以下命令从metastore中检索表:

spark = SparkSession.builder(...)
df = spark.table("table_Name")

弹出以下错误消息:

无法将field从十进制(21,13)强制转换为字段#538:十进制(14,6),因为它可能会被截断

实际表在元存储中的类型为decimal(14,6)

  • 首先:我不知道decimal(21,13)的来源
  • 第二:据我所知,由于decimal(21,13)decimal(14,6)的逗号前都有相同的位数,因此此转换应该可以。即使不是,Spark也会在无法应用强制转换的情况下放置null

问题是:这是怎么回事?

最好的问候。

0 个答案:

没有答案