spark-avro-日期时间格式

时间:2018-11-15 04:55:43

标签: datetime apache-spark avro

我正在以avro格式将数据从源DB提取到HDFS。 使用spark-avro软件包,因为时间戳列存在已知问题, 是否可以在导入过程中动态地找出所有时间戳/日期时间类型并强制转换为STRING的列?

我打算编写通用过程-因此无法对列进行硬编码,而是希望使这种逻辑动态化。

任何指针?

0 个答案:

没有答案