如何在NiFi ValidateRecord处理器/ JsonRecordSetWriter

Question

如何在NiFi ValidateRecord处理器/ JsonRecordSetWriter的处理器中将时间戳序列化为Json字段。

在输入时，我有一个带有时间戳列的CSV文件，其格式为yyyy-MM-dd HH:mm:ss.SSS。 在我的NiFi Flow中，我有一个ValidateRecord处理器，它使用CSVReader进行读取，JsonRecordSetWriter作为编写器。他们俩都使用Avro模式，时间戳字段定义为

"fields" : [ {
    "name" : "timestamp",
    "type" : {
            "type" : "long",
            "logicalType" : "timestamp-millis"
        },
    "doc" : "Type inferred from '2016/10/08 07:51:00.000'"
    }, {
    ...

当通过诸如2016-10-08 07:51:00.000之类的字段值的记录时，我在NiFi日志中遇到了异常：

2018-10-18 17:05:59,135 ERROR [Timer-Driven Process Thread-1] o.a.n.processors.standard.ValidateRecord ValidateRecord[id=3d44915d-a52a-3eb0-1ae1-7b0cbe4b1a03] Failed to write MapRecord[{timestamp=2016-10-08 07:51:00.0, ...  ] with schema {"type":"record","name":"redfunnel","doc":"Schema generated by Kite","fields":[{"name":"timestamp","type":{"type":"long","logicalType":"timestamp-millis"},"doc":"Type inferred from '2016/10/08 07:51:00.000'"},{ .... }]} as a JSON Object due to java.lang.IllegalStateException: No ObjectCodec defined for the generator, can only serialize simple wrapper types (type passed java.sql.Timestamp): java.lang.IllegalStateException: No ObjectCodec defined for the generator, can only serialize simple wrapper types (type passed java.sql.Timestamp)
java.lang.IllegalStateException: No ObjectCodec defined for the generator, can only serialize simple wrapper types (type passed java.sql.Timestamp)
    at org.codehaus.jackson.impl.JsonGeneratorBase._writeSimpleObject(JsonGeneratorBase.java:556)
    at org.codehaus.jackson.impl.JsonGeneratorBase.writeObject(JsonGeneratorBase.java:317)
    at org.apache.nifi.json.WriteJsonResult.writeRawValue(WriteJsonResult.java:267)
    at org.apache.nifi.json.WriteJsonResult.writeRecord(WriteJsonResult.java:201)
    at org.apache.nifi.json.WriteJsonResult.writeRawRecord(WriteJsonResult.java:149)
    at org.apache.nifi.processors.standard.ValidateRecord.onTrigger(ValidateRecord.java:342)
    at org.apache.nifi.processor.AbstractProcessor.onTrigger(AbstractProcessor.java:27)
    at org.apache.nifi.controller.StandardProcessorNode.onTrigger(StandardProcessorNode.java:1165)
    at org.apache.nifi.controller.tasks.ConnectableTask.invoke(ConnectableTask.java:203)
    at org.apache.nifi.controller.scheduling.TimerDrivenSchedulingAgent$1.run(TimerDrivenSchedulingAgent.java:117)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

在我的JsonRecordSetWriter的属性中，我尝试指定一种用于将时间戳记写为yyyy-MM-dd HH:mm:ss.SSS的格式

但不幸的是没有成功，但我在NiFi日志中仍然遇到相同的异常。

这是否意味着JsonRecordSetWriter即使具有java.time.Timestamp属性（似乎可以完全配置该属性），也无法默认序列化Timestamp Format？

是否可以使用现成的NiFi组件根据自定义格式编写时间戳，还是必须修改JsonRecordSetWriter？

更新

接着执行代码，我的例外是被this code branch抛出。 看来这是未通过验证的无效记录的分支。也许我的错误仅发生在无效记录上。

Answer 1

似乎我找到了适用于我的情况的配置。

我不得不将模式分为两部分：一个用于输入，另一个用于输出。

因此， schema1 将时间戳字段定义为：

{
    "name" : "timestamp",
    "type" : "string",
    "doc" : "Type inferred from '2016/10/08 07:51:00.000'"
}

和 schema2 将时间戳字段定义为

{
    "name" : "timestamp",
    "type" : {
        "type" : "long",
        "logicalType" : "timestamp-millis"
    },
    "doc" : "Type inferred from '2016/10/08 07:51:00.000'"
}

现在，我正在配置ValidateRecord处理器

使用 schema1 的
• CSVReader
• 使用 schema2
的JsonRecordSetWriter
• 带有 schema1
的ValidateRecord的“架构文本”字段

之后，记录通过我的ValidateRecord处理器而没有错误，并使用timestamp处理器（使用配置了的PutDatabaseRecord处理器）进入Postgres数据库的JsonTreeReader字段schema2 。

同样重要的是使用正确的字符串格式（例如，JsonTreeReader的时间戳格式属性）进行配置。我的情况是“ yyyy-MM-dd HH：mm：ss.SSS”。

希望能在类似情况下帮助某人。