我的所有任务都有RACK_LOCAL位置级别

时间:2016-05-19 12:54:01

标签: hadoop apache-spark

我有4个节点的hadoop集群,我在其中运行spark作业。工作是非常基本的,例如字数。 A我的火花设置存在以下问题:

  1. 我的所有任务都是RACK_LOCAL级别,甚至是简单的地图任务
  2. ....     16/05/19 15:36:14 INFO scheduler.TaskSetManager:在阶段1.1中启动任务24.0(TID 451,217.69.134.5,分区65,RACK_LOCAL,2168字节)     16/05/19 15:36:14 INFO scheduler.TaskSetManager:完成任务21.0,阶段1.1(TID 448),6635毫秒,217.69.134.5(14/76)     16/05/19 15:36:14 INFO scheduler.TaskSetManager:在阶段1.1中启动任务25.0(TID 452,217.69.134.5,分区67,RACK_LOCAL,2168字节)     16/05/19 15:36:14 INFO scheduler.TaskSetManager:完成任务22.0,阶段1.1(TID 449),在6858毫秒,217.69.134.5(15/76)     16/05/19 15:36:20 INFO scheduler.TaskSetManager:在阶段1.1中启动任务26.0(TID 453,217.69.134.5,分区68,RACK_LOCAL,2168字节)     16/05/19 15:36:20 INFO scheduler.TaskSetManager:完成任务24.0,阶段1.1(TID 451),6872 ms,217.69.134.5(16/76)     16/05/19 15:36:21 INFO scheduler.TaskSetManager:在阶段1.1中启动任务27.0(TID 454,217.69.134.5,分区75,RACK_LOCAL,2168字节)     16/05/19 15:36:21 INFO scheduler.TaskSetManager:完成任务23.0,阶段1.1(TID 450),在7049分钟,217.69.134.5(17/76)     16/05/19 15:36:21 INFO scheduler.TaskSetManager:在阶段1.1中启动任务28.0(TID 455,217.69.134.5,分区76,RACK_LOCAL,2168字节)     16/05/19 15:36:21 INFO scheduler.TaskSetManager:完成任务25.0,阶段1.1(TID 452),在6893毫秒,217.69.134.5(18/76)     16/05/19 15:36:23 INFO scheduler.TaskSetManager:在阶段1.1中启动任务29.0(TID 456,217.69.134.5,分区84,RACK_LOCAL,2168字节)     16/05/19 15:36:23 INFO scheduler.TaskSetManager:阶段1.1(TID 428)中完成的任务1.0,在43633 ms,217.69.134.5(19/76)     16/05/19 15:36:25 INFO scheduler.TaskSetManager:在阶段1.1中启动任务30.0(TID 457,217.69.134.8,分区85,RACK_LOCAL,2168字节)     16/05/19 15:36:25 INFO scheduler.TaskSetManager:阶段1.1(TID 433)中的完成任务6.0,在43612 ms,217.69.134.8(20/76)     16/05/19 15:36:25 INFO scheduler.TaskSetManager:在阶段1.1中启动任务31.0(TID 458,217.69.134.8,分区90,RACK_LOCAL,2168字节)     16/05/19 15:36:25 INFO scheduler.TaskSetManager:完成任务4.0,阶段1.1(TID 431),44555毫秒,217.69.134.8(21/76) .....

    1. 我无法完成需要随机播放的任务,例如加入,不同等等,它们会挂起并停下来。

      16/05/19 15:38:33 WARN scheduler.TaskSetManager:阶段2.0中失去的任务8.0(TID 419,217.69.134.8):FetchFailed(BlockManagerId(7,217.69.134.6,33355),s huffleId = 0,mapId = 6,reduceId = 8,message = org.apache.spark.shuffle.FetchFailedException:无法连接到/217.69.134.6:33955         at org.apache.spark.storage.ShuffleBlockFetcherIterator.throwFetchFailedException(ShuffleBlockFetcherIterator.scala:323)         在org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:300)         在org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:51)         在scala.collection.Iterator $$ anon $ 11.next(Iterator.scala:328)         在scala.collection.Iterator $$ anon $ 13.hasNext(Iterator.scala:371)         在scala.collection.Iterator $$ anon $ 11.hasNext(Iterator.scala:327)         在org.apache.spark.util.CompletionIterator.hasNext(CompletionIterator.scala:32)         在org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:39)         在scala.collection.Iterator $$ anon $ 11.hasNext(Iterator.scala:327)         在scala.collection.Iterator $ class.foreach(Iterator.scala:727)         在scala.collection.AbstractIterator.foreach(Iterator.scala:1157)         在org.apache.spark.api.python.PythonRDD $ .writeIteratorToStream(PythonRDD.scala:452)         在org.apache.spark.api.python.PythonRunner $ WriterThread $$ anonfun $ run $ 3.apply(PythonRDD.scala:280)         at org.apache.spark.util.Utils $ .logUncaughtExceptions(Utils.scala:1766)         在org.apache.spark.api.python.PythonRunner $ WriterThread.run(PythonRDD.scala:239) 引起:java.io.IOException:无法连接到/217.69.134.6:33955

    2. 我的配置出了什么问题?

0 个答案:

没有答案