使用camus属性将纪元时间戳转换为日期时间格式

Question

我的kafka消息有多个字段，其中包含长格式的纪元时间戳。我的消息如下：

{
    "someDate1":1512725505000,
    "someDate2":1518060461000,
    "ABC":"XYZ",
    "PQR":"MNO"
}

使用camus属性文件中的某些属性加载到hdfs时，有没有办法将所有这些纪元时间戳转换为日期时间格式。

Answer 1

加缪贬值 - 你最好使用HDFS connector用于Kafka Connect。它是开源的，可用standalone或Confluent Platform的一部分。

作为Kafka Connect的一部分，您可以使用Single Message Transforms将时间转换为更具可读性的形式 - 请参阅org.apache.kafka.connect.transforms.TimestampConverter

在此blog article here中查看更多有关单个邮件转换的示例。