如何使用flink从orientDB读取数据（逐页）？

Question

我开发了Apache Flink连接器来从OrientDB源读取数据。它工作正常，从源读取数据并将它们放入数据集。但是，我想使用分页技术读取数据并逐页提取数据。知道我该怎么做吗？

Answer 1

您正在使用查询？ 使用此类查询可以获得有限数量的结果：

SELECT FROM <target> [WHERE ...] SKIP <records-to-skip> LIMIT <max-records>

Answer 2

您可以将完整数据集拆分为跳过限制批次，并将其作为单独的flink作业运行，如CliFrontend suddenly shotdown during multiple batch jobs processing Flink在处理完第一页的所有记录之前不会读取第二页。

或者你应该通过flink-group实现分页逻辑，按页码的单页内所有记录，然后用并行处理所有页组1