我有一个火花流应用程序,直到昨天一直运行得非常好,突然遇到这个警告。我有相同的环境并使用相同的代码。以下是警告:
05/09 17:13:03 INFO ExecutorAllocationManager:请求16个新的执行程序,因为任务被积压(新的期望总数将为31) 16/05/09 17:13:03 INFO ExecutorAllocationManager:请求19个新的 执行者因为任务积压(新的期望总数将为50)
16/05/09 17:13:12警告YarnScheduler:最初的工作还没有接受 资源;检查群集UI以确保已注册工作人员 并有足够的资源
16/05/09 17:13:27警告YarnScheduler:最初的工作还没有接受 资源;检查群集UI以确保已注册工作人员 并有足够的资源
我在cloudera 5.5上使用apache spark 1.6。快速入门VM。群集上没有运行任何应用程序来消耗可用资源。
是否有任何配置。
谢谢!
答案 0 :(得分:0)
快速入门虚拟机旨在快速了解该功能,并可能配置为“适合安装在箱中”,而不是长期稳定。
通常,对于沙盒和快速入门的问题,我的建议是仅在需要时设置一个新的沙盒。
在这种情况下,快速入门适用于CDH,其后继产品(CDP)已经淘汰。
CDP,Cloudera Data Platform是CDH和HDP的后继产品。
如果您要签出最新版本,可以使用一个试用版,该试用版可用于大多数目的,您可能想使用快速入门。可以下载here。
全面披露:我是Cloudera的一名员工,Cloudera是CDH和CDP背后的公司。