Flink基于时间窗口和过程捕获消息

时间:2017-05-17 14:03:46

标签: scala apache-kafka apache-flink flink-streaming

我想使用flink计算和处理邮件。这里flink正在读取kafka的数据,我的要求是我在时间框架之间读取和处理数据。 例如

消息在12:00到12:30之间,

在12:30到1:00之间发送消息..等等,

我是陌生人,你可以指导或建议任何帮助,文件

由于

1 个答案:

答案 0 :(得分:1)

此页面解释了窗口化:https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/windows.html

具体来说,它看起来像这样(作为例子):

val windowing: DataStream[(**,**,...)] = data
  .keyBy(?)
  .timeWindow(Time.minutes(30))
  .map ( // your mapping )
  .reduce ( // your reduce function here )