YARN上的spring xd admin instantiation

时间:2015-04-02 05:43:24

标签: spring-xd

我们在YARN上安装了spring xd。我看到我的应用程序在YARN上运行,容器在YARN上部署,但YARN资源管理器没有启动XD-ADMIN。

只是想了解是否应该明确启动XD Admin的预期行为? YARN RM可以在没有外部干预的情况下启动XD-Admin吗?

1 个答案:

答案 0 :(得分:0)

混合使用1.1.0 / 1.1.1无关紧要,因为我们没有触及任何YARN功能(虽然我没有尝试过)。你没有提到它在群集大小等方面的设置类型。

YARN上的XD从1.0到1.1发生了巨大变化,整个YARN功能从头开始重新编写。使用1.0时,您必须运行单独的YARN应用程序才能启动管理员和容器,而1.1已更改,因此管理员和容器都可以由同一个应用程序主机控制。

话虽如此,为了给出一点背景,1.1,默认(在servers.yml中定义)YARN启动3个容器和1个管理员。如果您通过任何更改使用单节点hadoop,您可能会达到资源限制。值得阅读1.1参考文档中的“配置YARN内存预留”部分。通过试图找出为什么某些东西不能在YARN上开始,我肯定会烧掉一些时间。

问题可能是1)如果这3个默认容器全部使用,则集群没有足够的资源; 2)admin请求太多内存而YARN拒绝满足资源分配请求等。

我可以建议首先将容器数量减少到1,看看是否有帮助。其次尝试调整或关闭该参考文档部分中提到的内存设置。

我也看到过一些操作系统的情况,操作系统的物理内存与虚拟内存的比例被操作系统计算错误(认为RHEL的某些版本会这样做),而YARN只会杀死你的进程。

如果管理员实际上已经启动但是被YARN杀死(由于存在问题),如果它无法启动(动物园管理员出现问题等等),如果它从未获得资源,那么也值得尝试从日志中查看纱。

告诉我们它是怎么回事!