spark从hdfs读取kerberos并写入本地文件系统

时间:2017-05-24 16:38:59

标签: scala apache-spark kerberos

我试图获得以下用例:

  1. 使用镶木地板格式的Kerberos从HDFS中读取文件
  2. spark用csv格式写这个文件
  3. 如果我写信给hdfs,那就完美了。如果我尝试写入本地文件系统,它就不起作用:"main" java.io.IOException: Can't get Master Kerberos principal for use as renewer

    我正在使用Spark 1.6.2。

    为了sumarize,我的代码是

    val dfIn = sqc.read.parquet(pathIsilon)
    dfIn.coalesce(1).write.format("com.databricks.spark.csv").save(pathFilesystem)
    

0 个答案:

没有答案