Question

我尝试使用YARN在群集上运行程序。

YARN和HADOOP一起出现在那里。

我遇到的问题如下 -

Container exited with a non-zero exit code 13
Failing this attempt. Failing the application.
     ApplicationMaster host: N/A
     ApplicationMaster RPC port: -1
     queue: default
     start time: 1528297574594
     final status: FAILED
     tracking URL: http://MasterNode:8088/cluster/app/application_1528296308262_0004
     user: bblite
Exception in thread "main" org.apache.spark.SparkException: Application application_1528296308262_0004 finished with failed status

我在网上查了一下，大多数stackoverflow问题都说，用户在调用Spark Session的同时在代码中给了.master（＆＃39; local [*]＆＃39;）在进行火花提交时给予--master纱线，因此他们因冲突而得到错误。

但是，就我而言，我在代码中根本没有提到任何主人。只是尝试通过在制作火花提交时给予--master纱线在纱线上运行它。下面是代码spark调用 -

spark = SparkSession\
        .builder\
        .appName("Temp_Prog")\
        .getOrCreate()

以下是spark-submit -

spark-submit --master yarn --deploy-mode cluster --num-executors 3 \
--executor-cores 6 --executor-memory 4G \
/appdata/codebase/backend/feature_extraction/try_yarn.py

我在没有--deploy-mode的情况下尝试过，仍然没有帮助。

Spark YARN错误（代码13）

0 个答案: