Question

我正在经营一项火花工作。我可以看到我的工作总是失败，在历史服务器中我看到错误

java.io.IOException: Target log file already exists (hdfs://nameservice1/user/spark/applicationHistory/application_1456200816465_392022)
    at org.apache.spark.scheduler.EventLoggingListener.stop(EventLoggingListener.scala:201)
    at org.apache.spark.SparkContext$$anonfun$stop$5.apply(SparkContext.scala:1394)
    at org.apache.spark.SparkContext$$anonfun$stop$5.apply(SparkContext.scala:1394)
    at scala.Option.foreach(Option.scala:236)
    at org.apache.spark.SparkContext.stop(SparkContext.scala:1394)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$3.run(ApplicationMaster.scala:107)
    at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:54)

这非常令人困惑，因为它甚至没有输入我的代码....我不知道这里出了什么问题。我尝试删除目录并再次运行......但同样的问题。

Answer 1

您已经遇到Add "Edit work items in this node" security policy to Iteration in Team System，已经修复了一段时间了。但它只是一个更大问题的症状 - 您的应用程序由于某种原因而失败，并且当YARN重试它时，您会收到该错误。

Spark Target日志文件已存在

1 个答案: