我试图计算使用spark sql从数据帧中取出的行数。但我收到以下错误。有人可以帮我解决这个问题吗?
我的SQL查询 碰撞是我的表名,我试图显示结果。
outputDataframe = spark.sql("select count(*) from collisions where YEAR(date) = 2016")
outputDataframe.show()
错误:
Py4JJavaError:调用o395.showString时发生错误。 :org.apache.spark.SparkException:作业因阶段失败而中止:阶段13.0中的任务0失败1次,最近失败:阶段13.0中丢失任务0.0(TID 13,localhost,执行程序驱动程序):java.lang.IllegalArgumentException :停车场。"