MongoDB作为Flink的数据源

Question

可以 MongoDB 用作数据源到 Apache Flink 来处理流数据吗？什么是Apache Flink的本机实现以使用 No-SQL Database 作为数据源？

Answer 1

目前，Flink没有专门的连接器来读取MongoDB。你能做的是以下几点：

• 使用StreamExecutionEnvironment.createInput并使用Flink的包装输入格式为MongoDB提供Hadoop输入格式
• 通过实施SourceFunction / ParallelSourceFunction
实施您自己的MongoDB来源

前者应该为您提供至少一次处理保证，因为在恢复的情况下完全重新读取MongoDB集合。根据MongoDB客户端的功能，您可以使用后一种方法实现一次性处理保证。