标签： pyspark pyspark-sql
我有一个带有category和datetime64 [ns]类型的Pandas数据帧。当查看pyspark.sql.types中的Spark数据类型时，我找不到任何等效的分类。是否有任何好的建议或定义自定义数据类型的方法？
datetime64 [ns]类型只能接受模式中的LongType，并且同时崩溃DateType和TimestampType。例如
2016-06-06 07:15:32.112202 -> 1465197332112202000