将具有科学计数法的STRING转换为BIGINT时,Spark SQL行为更改

时间:2018-08-17 17:01:48

标签: apache-spark apache-spark-sql

当我在spark-shell中运行此查询时:

s = slice(2, 4) b[s] = [i+100 for i in b[s]] print(b) [3, 4, 106, 108, 9]

在Spark 1.6.3上

我得到SELECT CAST('1234E5' AS BIGINT),这是预期的。但是,在Spark 2.3.1上,我得到了123400000

我是否需要设置一个配置选项以获取Spark 1.6.3行为,还是Spark 2.3.1中的此回归?

此外,为什么此查询首先在Spark 2.3.1中起作用:

null

据我所知,Spark SQL中没有SELECT CAST('1234' AS LONG)类型(或者Hive QL)。

0 个答案:

没有答案