尝试执行聚合函数时出现TypeError

时间:2018-07-01 06:03:46

标签: python apache-spark pyspark databricks

我正在尝试在讲座视频中教授的汇总功能。执行该程序时遇到错误。

sumCount = flightsParsed.map(lambda x:x.DEP_DELAY).aggregate((0,0),(lambda acc,value:(acc[0]+value,acc[1]+1)),(lambda acc1,acc2:(acc1[0]+acc2[0],acc1[1]+acc2[1])))

错误是:

  

TypeError:+不支持的操作数类型:“ float”和“ NoneType”

PS:我一直在尝试通过将CSV作为DF加载并将inferschema设置为'True',然后将其转换为RDD进行进一步处理,来尝试对Databricks进行操作。

根据我从错误声明中得出的结论,有一个none值传递给了lambda。我有什么办法可以单独查看lambda函数的输出来调试发生确切问题的位置?

0 个答案:

没有答案