Apache Spark冻结在YARN上

时间:2016-04-04 20:37:24

标签: java hadoop apache-spark hdfs

我有一个独立的群集(带有Ubuntu 14.04的虚拟机),使用默认配置安装了Apache Spark 1.6和Hadoop 2.6.4。我运行时一切正常:

spark-submit --class org.broadinstitute.hellbender.Main --master yarn --deploy-mode client /home/hadoop/spark.jar MarkDuplicatesSpark --input=/home/hduser/data/example.unmarkedDups.bam -M=out_MarkDuplicatesMetrics.txt --output=out_MarkDuplicates.bam

然后我尝试运行此命令,该命令使用HDFS存储中的输入文件:

spark-submit --class org.broadinstitute.hellbender.Main --master yarn --deploy-mode client /home/hadoop/spark.jar MarkDuplicatesSpark --input=hdfs://localhost:59000/data/example.unmarkedDups.bam -M=out_MarkDuplicatesMetrics.txt --output=out_MarkDuplicates.bam

它冻结了:

scheduler.TaskSetManager: Finished task 0.0 in stage 2.0 (TID 2) in 135 ms on localhost (1/2)

然后我在Spark中启用了日志级别ALL并再次运行它。我注意到每分钟重复以下消息:

TRACE HeartbeatReceiver: Checking for hosts with no recent heartbeats in HeartbeatReceiver

我永远不会停止,我不得不杀死这个过程。

我需要做些什么来解决这个问题?

0 个答案:

没有答案