关于在独立的EC-2群集上部署spark应用程序,我有一个问题。我按照Spark的教程,能够成功部署独立的EC-2集群。我通过连接到clusrer UI并确保所有内容都符合预期来验证。我开发了一个简单的应用程序并在本地测试。一切正常。当我将它提交到集群时(只需将--master local [4]更改为--masers spark:// ....)我收到以下错误:ERROR TaskSchedulerImpl:由于集群调度程序的错误而退出:所有大师都没有反应!放弃。是否有人知道如何克服这个问题。我的部署模式是客户端。
答案 0 :(得分:0)
确保您已向主人提供了正确的网址。
基本上,当您连接到Web UI时,页面上会显示确切的spark主URL。
页面上的URL类似于:spark Master:// IPAddress:port
另外,您可能会注意到Web UI和Spark运行端口号可能不同