Question

我正在HDIcluster上运行pyspark代码，并收到此错误：

代码由于致命错误而失败：会话681意外最终状态为“死亡”。查看日志：

我没有YARN或Hadoop的经验。我尝试了堆栈溢出中提供的几个链接。但是他们都没有帮助。一件奇怪的事是我昨天能够运行相同的代码而没有出现该错误。

我刚刚运行了导入

from pyspark.sql import SparkSession

这是我得到的错误：

19/06/21 20:35:35 INFO Client: 
     client token: N/A
     diagnostics: [Fri Jun 21 20:35:35 +0000 2019] Application is Activated, waiting for resources to be assigned for AM.  Details : AM Partition = <DEFAULT_PARTITION> ; Partition Resource = <memory:819200, vCores:240> ; Queue's Absolute capacity = 50.0 % ; Queue's Absolute used capacity = 99.1875 % ; Queue's Absolute max capacity = 100.0 % ; 
     ApplicationMaster host: N/A
     ApplicationMaster RPC port: -1
     queue: default
     start time: 1561149335158
     final status: UNDEFINED
     tracking URL: https://mmsorderpredhdi.azurehdinsight.net/yarnui/hn/proxy/application_1560840076505_0062/
     user: livy
19/06/21 20:35:35 INFO ShutdownHookManager: Shutdown hook called
19/06/21 20:35:35 INFO ShutdownHookManager: Deleting directory /tmp/spark-bb63c5f0-7579-4456-b32a-0e643ca97ecc

YARN Diagnostics: 
Application killed by user..

问题：是否可以处理Queue的绝对使用容量？

Answer 1

能否请您查看日志以找到确切的问题？

我在哪里找到日志文件？

在Azure HDInsight群集上，您可以通过使用SSH连接到其中一个Head节点并在此路径下载文件来找到livy日志。

hdfs dfs -ls /app-logs/livy/logs-ifile

有关更多详细信息，请参阅“ Access Apache Hadoop YARN application logs on Linux-based HDInsight”

而且，您可能会引用“ How to start sparksession in pyspark”。

希望这会有所帮助。

在HDIinsight群集上运行Spark作业时如何解决此致命错误？会话681意外达到最终状态“死角”。查看日志：

1 个答案: