我在hadoop纱线上运行一个火花工作（hadoop 2.7.0但也尝试了2.4.0，所有在我的盒子上使用apache-hadoop网站的下载和火花1.3.1）。我的spark工作在scala中，但包含用jdk8编译的类。
当我在jdk8上运行hadoop时，我得到了
INFO yarn.Client:
client token: N/A
diagnostics: Shutdown hook called before final status was reported.
ApplicationMaster host: kostas-pc
ApplicationMaster RPC port: 0
queue: default
start time: 1431513335001
final status: SUCCEEDED
即使作业被标记为已成功，但实际上由于“在报告最终状态之前调用了关闭挂钩”，它实际上没有做任何事情。实际上，我的火花作业中没有可见的记录。
当我将运行hadoop的jdk切换到jdk7时，我的作业开始运行，我可以看到我的scala代码中的日志条目，但是当它到达使用jdk8编译的代码时，它会因类错误而出现错误（正如预期的那样） ）。
所以看起来运行hadoop + spark与jdk8不兼容。这有什么解决方案吗？
由于
答案 0 :(得分：1)
使用jdk8
似乎可以使用spark 1.4.0