我有一个Hive外部表,将数据作为拼花形式存储在HDFS中;数据是从另一个表(RDBMS)提取的,并以与源表相同的列数据输入方式存储在Hive中。
但是,Spark(或Zeppelin)显示小数类型值的方式与通过Hive CLI或Hue获取同一列值的方式完全不同。
文件中的实际值为23.34
(Stored as Decimal (26,5)
)。
Hive / Hue提取的值为23.34
,但是,如果我在Zeppelin或Spark CLI中查询,则值为23340。
我不确定spark如何转换十进制值。
如果存储时的数据操作有问题,那么它与Hive&Spark中获取的值相同。因此,请排除以下结论:在数据加载本身时发生了某些事情。
有人有什么想法吗?