我是Pyspark世界的新手。我了解Spark SQl使用编码器在Spark SQL内部对反序列化对象进行序列化。我知道这是关于将对象转换为Spark sql内部存储类型的。我在互联网上看到很多关于Spark Scala世界中编码器的示例。 我在Pyspark世界中看不到任何示例。而且,我在任何Pyspark导入文件中都找不到编码器
例如
from pyspark.sql.catalyst.encoders import RowEncoder
火花中不存在
pyspark中不存在实际的催化剂包。谁能解释为什么编码器在Pyspark中没有意义?