Flink批量数据处理

时间:2016-07-22 17:10:28

标签: python apache-flink

我正在评估一些处理批量数据的Flink。举一个简单的例子说我有2000个点,我想使用scipy提供的功能通过FIR滤波器。 scipy过滤器是一个简单的函数,它接受一组系数和数据来过滤和返回数据。有可能在Flink中创建一个转换来处理这个问题吗?似乎Flink转换是逐点应用的,但我可能会遗漏一些东西。

1 个答案:

答案 0 :(得分:0)

这当然是可能的。 Flink已经有了你想要使用的Python API (beta)

关于你的第二个问题:Flink可以逐点应用功能,也可以做其他事情。这取决于你定义的函数的扭结。例如,每条记录都会应用filterprojectmapflatMap; maxminreduce等应用于一组记录(这些组通过groupBy定义)。还可以使用joincrosscogroup来连接来自不同数据集的数据。请查看文档中可用转换的列表:https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/dataset_transformations.html