长时间运行流处理的Flink示例作业

Question

我正在寻找长期运行的流处理的Flink示例作业，以进行测试。我检查了Flink项目中包含的流媒体/ WordCount，但似乎它不是长时间运行的，在处理了输入文件之后，它退出了。

我需要自己写一个吗？获得无穷无尽的流输入的最简单方法是什么？

Answer 1

WordCount示例退出，因为其源是有限的。完全处理完输入后，它将退出。

Flink Operations Playground是永久运行的流作业的一个很好的例子。

Answer 2

根据定义，只要您不定义任何暂停条件或手动取消作业，每个流作业都将“永远”运行。我猜您正在要求某种从某种无限来源消耗的工作。我能找到的最简单的工作是flink-project本身包含的twitter示例：

https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/scala/org/apache/flink/streaming/scala/examples/twitter/TwitterExample.scala

通过一些调整，您还可以使用套接字示例（对源代码有更多控制权）：

https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/scala/org/apache/flink/streaming/scala/examples/socket/SocketWindowWordCount.scala

希望我的问题没错，对您有帮助。