火花工人不断退出

Question

我已经安装了pyspark和jupyter笔记本安装了Spark主服务器。工人在spark-master网站上注册。该应用程序名称也显示在webui中。但是，当我运行诸如数据集/数据框之类的东西时，工作人员不断退出。

我已经设置了conf / spark-env.sh 我在/ etc / hosts中声明了主/从服务器

Worker Exiting Image spark-submit --master log

工人确实注册，但这是工人的错误日志

int getParent(int index){                                 
    return (index - 1)/2;                                 
}                                 
                                  
void insertHeap(Array tab){                               
    int current = tab.size() -1;                                  
    int i = current;                                  
    int tmp;                                  
    int parent;                               
    while(i > 0) {                                
        parent = getParent(i);                                
        if(tab[parent] < tab[i]) {                                
            tmp = tab[parent];                                
            tab[parent] = tab[i];                                 
            tab[i] = tmp;                                 
        } else break;                                 
        i = parent;                               
    }                                 
    current++;                                
}                                 

Answer 1

请检查是否所有节点都知道主机名和端口。