标签: datetime apache-spark avro
我正在以avro格式将数据从源DB提取到HDFS。 使用spark-avro软件包,因为时间戳列存在已知问题, 是否可以在导入过程中动态地找出所有时间戳/日期时间类型并强制转换为STRING的列?
我打算编写通用过程-因此无法对列进行硬编码,而是希望使这种逻辑动态化。
任何指针?