我正在使用python(pyspark)处理Spark进程。我创建了一个Amazon EMR集群来运行我的spark脚本,但是当我刚刚创建集群时,当我检查集群UI时,很多进程是由它自己启动的(??),
因此,当我尝试午餐自己的脚本时,它们会进入一个无休止的队列,有时会被接受,但永远不会进入RUNNING状态。
即使在亚马逊论坛上,我也找不到有关此问题的任何信息,因此,我很乐意提供任何建议。
谢谢。
答案 0 :(得分:0)
您需要签入主节点的安全组,检查入站流量, 也许您在任何地方都有一条规则,请删除该规则,或者尝试删除该规则并检查是否一切正常,这是一个漏洞。