Question

现在几个小时我尝试设置Hadoop / YARN，这样就可以在它上面执行Spark程序了。

但我仍然遇到了一个我完全没有找到错误的错误。

当我使用--master yarn尝试spark-submit或spark-shell命令时，我得到以下异常：

Application application_1481891851677_0002 failed 2 times due to Error launching appattempt_1481891851677_0002_000002. 
Got exception: org.apache.hadoop.security.AccessControlException: Unable to find SASL server implementation for DIGEST-MD5

我使用了spark和hadoop的初学者教程中的配置：

芯-site.xml中

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

HDFS-site.xml中

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

纱-site.xml中

    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

我没有在任何地方启用SASL。有人知道我是如何修复或至少绕过错误的吗？

Answer 1

我发现这是jdk版本的问题。当我的mapReduce工作在带有openjdk-9的Hadoop 2.8上时，我收到了这个错误。在我将其更改为openjdk-8或openjdk-7之后，它运行良好。

Spark / Hadoop - 无法为DIGEST-MD5找到SASL服务器实现

1 个答案: