Spark + Yarn:如何保留丢失执行程序的日志

时间:2016-06-07 21:22:59

标签: hadoop logging apache-spark yarn

使用配置了Spark的{​​{1}}(Yarn模式,虽然与问题没有多大关系),但我发现我的某些client失败了。< / p>

Executors Executor,其个人日志文件位于:Yarn-Container。容器生成的一些(关键)事件/日志渗透到驱动程序,但不是全部。据观察,当/var/log/hadoop-yarn/containers/containerID失败时,Executor一旦死亡就会被清除。有没有办法阻止这些日志被删除以进行调试?

1 个答案:

答案 0 :(得分:1)

因为,你有纱线上的火花,我希望这有助于收集所有的日志

yarn logs -applicationId <application ID>