为什么没有Pyspark编码器

时间:2019-01-16 09:01:31

标签: apache-spark pyspark apache-spark-sql apache-spark-encoders

我是Pyspark世界的新手。我了解Spark SQl使用编码器在Spark SQL内部对反序列化对象进行序列化。我知道这是关于将对象转换为Spark sql内部存储类型的。我在互联网上看到很多关于Spark Scala世界中编码器的示例。 我在Pyspark世界中看不到任何示例。而且,我在任何Pyspark导入文件中都找不到编码器

例如

from pyspark.sql.catalyst.encoders import RowEncoder

火花中不存在

pyspark中不存在

实际的催化剂包。谁能解释为什么编码器在Pyspark中没有意义?

0 个答案:

没有答案