AttributeError：'NoneType'对象没有属性'persist'

Question

当我尝试将($envEpicCommFilePath + 'MST-EpicComm.env'), 'MST', ($iconPath + 'MST_text.ico') 保留在pyspark中时，遇到Dataframe错误。伪代码如下：

AttributeError: 'NoneType' object has no attribute 'persist'

ss = SparkSession.builder.getOrCreate() sqlDF = ss.sql(query) // query contains udf sqlDF.persist() 的结果如下

ss.sql(query).show(10)

是否由于某些单元格值是nonetype引起的错误？如果是这样，如何解决？

Answer 1

您可以尝试使用sqlDF打印sqlDF.printSchema()的架构，并发现某个列是NoneType的列，因此spark不知道如何序列化它们。这可能是由于某列的所有值都为null所致，然后引发推断该列的架构为NoneType。您可以在查询中手动将列强制转换为所需的类型。