Question

我正在尝试使用apache-spark在我的独立scala程序中从HDFS访问文件。执行时出现以下错误。

SIMPLE authentication is not enabled.  Available:[TOKEN,KERBEROS]

我发现this问题解释说我需要创建一个keytab文件，然后让我的独立程序使用它。我已经生成了keytab文件。有人可以告诉我如何从我的程序中使用它。

非常感谢任何帮助。

ps - 我正在使用Hadoop 2.3.0和spark 0.9.0

更新：这就是我的core-site.xml现在的样子：

<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera Manager-->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://USHadoop</value>
  </property>
  <property>
    <name>fs.trash.interval</name>
    <value>1</value>
  </property>
  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value>
  </property>
  <property>
    <name>hadoop.security.authentication</name>
    <value>kerberos</value>
  </property>
  <property>
    <name>hadoop.rpc.protection</name>
    <value>authentication</value>
  </property>
  <property>
    <name>hadoop.security.auth_to_local</name>
    <value>DEFAULT</value>
  </property>
</configuration>

在spark独立程序中使用keytab文件

0 个答案: