我有pandas数据帧,我将其转换为spark数据帧。问题是我不知道那些pandas数据帧的架构......它可以是任何数据帧。因此,似乎有些pandas数据帧可能包含类似numpy.float64
类型的列。无法自动转换为python本机类型:
not supported type: <type 'numpy.float64'>
因此,在将我的pandas数据帧转换为spark数据帧之前,我必须确保将所有不支持的类型手动转换为最接近的等效类型。在python中没有等效数据的numpy数据类型的其他示例是:
- numpy.float32
- numpy.float64
- numpy.uint32
- numpy.int16
- float128
- longfloat
- clongdouble
- clongfloat
- etc.
所以我需要一个功能,将所有这些数据类型转换为最接近的等价物,而不必知道我的pandas数据帧的结构或数据类型。
我该怎么做?