我正在评估一些处理批量数据的Flink。举一个简单的例子说我有2000个点,我想使用scipy提供的功能通过FIR滤波器。 scipy过滤器是一个简单的函数,它接受一组系数和数据来过滤和返回数据。有可能在Flink中创建一个转换来处理这个问题吗?似乎Flink转换是逐点应用的,但我可能会遗漏一些东西。
答案 0 :(得分:0)
这当然是可能的。 Flink已经有了你想要使用的Python API (beta)。
关于你的第二个问题:Flink可以逐点应用功能,也可以做其他事情。这取决于你定义的函数的扭结。例如,每条记录都会应用filter
,project
,map
,flatMap
; max
,min
,reduce
等应用于一组记录(这些组通过groupBy
定义)。还可以使用join
,cross
或cogroup
来连接来自不同数据集的数据。请查看文档中可用转换的列表:https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/dataset_transformations.html