使用wasb blob存储的Spark历史记录服务器将无法启动

Question

我在Azure上使用cloudbreak安装了HDP 2.5 Hadoop / Spark集群。

除火花历史记录服务器外，一切正常。在日志中，它表示事件日志hdfs:///spark-history的默认uri为false，缺少主机名。 所以我用直接引用azure blob存储的实际位置替换它：wasb://<host>:<port>/spark-history。当与hdsf dfs -ls一起使用时，此uri可以工作，但仍然无法启动spark历史记录服务器。现在它抱怨找不到一个班级：Caused by: java.lang.NoClassDefFoundError: com/microsoft/azure/storage/blob/BlobListingDetails。

因此，似乎它在启动时没有加载某些驱动程序。我找到了/usr/hdp/current/hadoop-client/lib/azure-storage-2.2.0.jar，可能就是这样。但是我不确定如何使用ambari配置编辑器在启动期间使历史服务器加载jar，或者这是否是原始问题的正确解决方案。 最奇怪的是Azure HDInsight使用blob存储，火花历史服务器只使用默认的hdfs:///spark-history设置运行。

有关如何加载azure-storage驱动程序或任何其他方法解决此问题的任何建议？

感谢名单

Answer 1

我会回答我自己的问题。 hortonworks社区论坛上有人得到了答案：spark程序集jar包含无效的存储jar。更新程序集jar解决了这个问题：

"group.php?gro=1"