如何在flink中创建一个返回数据集的自定义数据源？

Question

我正在尝试创建自定义数据源以从Azure Data湖中读取文件，并使用文件内容创建数据集并对数据集进行排序。但是flink允许只创建Datastream而不是数据集。怎么做？

Answer 1

Flink Batch还允许从您自己的数据存储创建DataSet。请参阅 ExecutionEnvironment ，有一个名为 createInput（InputFormat inputFormat）的API，允许创建自定义数据集。