Question

我正在使用Spark 1.3.0和Hadoop / Yarn，我收到一条错误消息，上面写着

WARN ReliableDeliverySupervisor：与远程系统关联[akka.tcp：// sparkYarnAM @ virtm2：51482]失败，地址现已封闭对于[5000] ms。原因是：[解除关联]。

我读到它并发现将akka心跳间隔设置为100可以解决这个问题：

SparkConf conf = new SparkConf().setAppName("Name");
conf.set("spark.akka.heartbeat.interval", "100");

不幸的是，它不属于我的情况。几秒钟后，当我按下回车键时，作业会因此错误而失败。

我使用此命令提交作业：

/usr/local/spark130/bin/spark-submit 
--class de.unidue.langTecspark.TweetTag 
--master yarn-client 
--executor-memory 2g  
--driver-memory 4g 
/home/huser/sparkIt-1.0-standalone.jar

节点上执行容器的日志表示应用程序主机已被杀死

5 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL 15: SIGTERM

我试图让一个最小的例子运行，这一个（它必不起作用..只是看它是否有同样的问题。）：

public static void main(String [] args){
        SparkConf conf = new SparkConf().setAppName("Minimal");
        JavaSparkContext sc = new JavaSparkContext(conf);
        List<Integer> data = Arrays.asList(1, 2, 3, 4, 5);
        JavaRDD<Integer> distData = sc.parallelize(data);
        sc.close();
    }

我再次进入日志，Applicationmaster杀死了Error。这里的错误与内存无关，但我很难跟踪这个问题。

我有一个小型分布式设置，有4台机器用于数据/处理，1台用于名称节点。

任何帮助都非常感谢！

Answer 1

当主站和从站未正确启动时，可能会发生此问题。使用./sbin/start-all.sh启动主服务器和从服务器，然后提交您的应用程序。

Spark：与远程系统的关联丢失了akka.tcp（解除关联）

1 个答案: