我正在深入了解Flink,了解如何在项目中使用它,并对创建者/高级思考者提出问题...为什么Flink使用Yarn作为默认资源管理器?
是否考虑过Kubernetes?或者它是我们开始使用Yarn的那些东西之一,它运作得很好......
我遇到过许多项目和文章,允许Kubernetes和Yarn一起工作,包括允许纱线与Mesos一起部署的Myraid项目(但我在Kubernetes ......)
我有一个非常大的计算群集,我使用的是大约2000个节点,我想使用Flink的超酷CEP功能来支持Kafka基础设施(也部署在这个kubernetes环境中)。
我希望了解使用Yarn作为Flink下面的资源管理器的原因,并且如果可能(通过一些努力和对项目的贡献)使Kubernetes成为纱线旁边的选项。
请注意 - 我是Yarn的新手 - 只是阅读它。也是Flink的新手,并了解部署和横向扩展架构。
答案 0 :(得分:0)
Flink与YARN无关。它也可以在Apache Mesos上运行,也有用户在Kubernetes上运行它。在当前版本(Flink 1.4.1)中,在Kubernetes中运行Flink时需要考虑一些事项(请参阅此talk by Patrick Lucas)。
Flink社区目前正致力于改善Flink对容器设置的支持。这项工作称为FLIP-6,将包含在下一版本(Flink 1.5.0)中。