我正在尝试使用oozie ssh动作在纱线群集上一个接一个地运行一组火花应用程序。每次特定的spark应用程序开始运行时，都会返回失败状态，抛出的异常是：
exception in thread "Driver" java.io.IOException : Log directory hdfs://xxx:8020/user/.../applicationHistory/aplication_...._.. already exists!
在堆栈跟踪中，我可以看到在我尝试在我的应用程序中创建SparkContext实例后抛出此异常。 由spark给出这个特定名称没有其他应用程序，所以我不明白该日志是否已经存在。 有人知道为什么这个应用程序名称已经有了日志吗？
答案 0 :(得分：0)
您只能将目录用于日志路径。