我正在使用sparkSQL,只有一列,其总数为1252226。
spark.sql("""select col1 from employee """).count()
output: 1252226
spark.sql("""select distinct col1 from employee """).count()
output: null
X
count for X = 288149
IS NULL = 964077
spark.sql("""select col1 from employee where col1 != 'a' """).count()
output: 0
在最后一个查询中(其中!-'a'),为什么显示0条记录,应该显示1252226。