Question

我在使用Jupyter笔记本的HDInsight中使用spark。我正在使用%% configure＆＃34; magic＆＃34;导入包。每次包裹出现问题时，火花都会因错误而崩溃：

由于致命错误导致代码失败：状态＆＃39; shutting_down＆＃39;不会议支持..

或

代码由于致命错误而失败：会话28意外达到最终状态＆＃39;死亡＆＃39;见日志：

通常问题是我错误地输入了包的名称，所以经过几次尝试我就可以解决它。现在我尝试导入spark-streaming-eventhubs_2.11并且我认为我的名字是正确的，但我仍然收到错误。我查看了各种日志，但仍然无法找到显示任何相关信息的日志。知道如何排除类似错误吗？

%%configure -f
{ "conf": {"spark.jars.packages": "com.microsoft.azure:spark-streaming-eventhubs_2.11:2.0.5" }}

其他信息：我跑的时候

spark-shell --conf spark.jars.packages=com.microsoft.azure:spark-streaming-eventhubs_2.11:2.0.5

shell启动正常，并下载包

Answer 1

我终于能够找到包含错误的日志文件。有两个日志文件可能很有趣

Livy log：livy-livy-server.out
纱线日志

在我的HDInsight群集上，我通过使用SSH连接到其中一个Head节点并在此路径下载文件（此日志不包含有用信息）找到了livy日志：

/var/log/livy/livy-livy-server.out

实际错误发生在可从YarnUI访问的纱线日志文件中。在HDInsight Azure门户中，转到＆＃34;群集仪表板＆＃34; - ＆GT; ＆＃34; Yarn＆＃34;，找到您的会话（KILLED状态），点击＆＃34; Logs＆＃34;在表格中，找到＆＃34;日志类型：stderr＆＃34;，单击＆＃34;单击此处查看完整日志＆＃34;。

我的问题是Spark-streaming_2.11和Livy之间的一个依赖项之间的Scala版本不兼容。这应该是固定Livy 0.4。更多信息here

如何解决spark

1 个答案: