我在Java 8中使用spark-sql-2.4.1版本。
我有let programhome: string = ['C:', 'SoftwareAG105', 'Apama'].join(path.delimiter);.
,其列“ eventTs”是Long数据类型的时间戳。
我正尝试将其转换回时间戳,如下所示:
raw_df
使用Dataset<Row> modified_df = raw_df
.withColumn("eventTimeStamp", ( col("eventTs").divide(1000) ).cast(DataTypes.TimestampType))
时
或( col("eventTs").divide(1000) ).cast(DataTypes.TimestampType)
它工作正常,但抛出AssertionError以下
( col("eventTs").divide(lit(1000)) ).cast(DataTypes.TimestampType)
这是怎么了? 该如何解决?
答案 0 :(得分:1)
也许您的类路径中缺少spark-tags_2.11.jar
吗?该JAR定义了InterfaceStability
包。