将数据从旧系统迁移到新系统。将旧系统记录作为JSON消息推送到Kafka。
主流管道是1个源Kafka，2个是使用平面映射进行转换。它根据新的系统架构规则转换数据。3个重复数据删除4个使用过程函数将其写入数据库。
我已经定义了另一个从相同的Kafka来源再次读取的作业管道，即另一个消费者读取原始数据，准备将地图ID作为主键，将值设为JSON，以便将原始数据作为每个实体的地图进行准备。
如何比较原始地图和转换后的数据。 我们如何将地图传递给主流作业以进行异常检测？ 我应该准备并行管道并且不确定如何做吗？ 根据主要在关键字段上的规则标记无效记录，并将其推送到错误主题。 有效记录正在写入数据库。
目标是验证记录流方式而不是批处理。 Flink 1.6.0