AWS胶粘作业将字符串映射为日期和时间格式，同时从CSV转换为拼花

Question

在从csv转换为镶木地板时，使用csv中映射的字段后的AWS粘合ETL作业读取为日期和时间类型的字符串。 这是实际的csv文件

映射和转换后，归档的日期为空，时间与今天的日期连接在一起

如何使用正确的日期和时间格式进行转换？

Answer 1

它使用presto数据类型，因此数据应采用正确的格式

  

DATE日历日期（年，月，日）。

     

示例：DATE'2001-08-22'

     

TIME一天中的时间（小时，分钟，秒，毫秒），没有时间   区。此类型的值在会话时间内进行解析和呈现   区域。

     

示例：TIME '01：02：03.456'

     

TIMESTAMP即时时间，包括日期和时间   没有时区。解析并呈现此类型的值   会话时区。

     

示例：TIMESTAMP'2001-08-22 03：04：05.321'

您可以使用

df = df.withColumn(col, to_timestamp(col, 'dd-MM-yyyy HH:mm'))
df = df.withColumn(col, to_date(col, 'dd-MM-yyyy'))
df = df.withColumn(col, date_format(col, 'HH:mm:ss'))