Scala测试失败-assertDataFrameEquals比较null和NULL

时间:2018-08-18 23:38:54

标签: scala apache-spark scalatest

我的一个scala测试失败了。我将失败的元组并排比较,并发现比较在带有NULL值的列中失败。 hdfs的null值以大写字母表示为NULL,而windows的null值以小写字母表示为null

有没有办法使用assertDataFrameEquals要求它忽略具有空值的列 我当前的代码是

assertDataFrameEquals(expected_DF.drop("date_created"), actual_df.drop("date_created"))

只是想让您知道,我将HDFS的预期数据帧作为实木复合地板文件

0 个答案:

没有答案