Apache Flink生产集群详细信息

时间:2020-07-11 10:46:31

标签: apache-flink flink-streaming

我是Flink的新手。如何知道flink的生产集群要求是什么。以及如何确定纱线簇模式下每个作业执行的作业存储器,任务存储器和任务槽。 例如,我每天必须使用数据流处理大约600-700百万条记录,因为它是实时数据。

1 个答案:

答案 0 :(得分:0)

对这些问题没有一刀切的答案。这取决于。这取决于您对这些事件进行的处理类型,是否需要访问外部资源/服务以对其进行处理,需要保留多少状态以及对该状态的访问和更新模式以及执行频率您将检查点,选择哪个状态的后端等等,等等。您需要做一些实验并进行测量。

有关此主题的详细介绍,请参见How To Size Your Apache Flink® Cluster: A Back-of-the-Envelope Calculationhttps://www.youtube.com/watch?v=8l8dCKMMWkw也很有帮助。