使用配置了Spark
的{{1}}(Yarn
模式,虽然与问题没有多大关系),但我发现我的某些client
失败了。< / p>
Executors
Executor
,其个人日志文件位于:Yarn-Container
。容器生成的一些(关键)事件/日志渗透到驱动程序,但不是全部。据观察,当/var/log/hadoop-yarn/containers/containerID
失败时,Executor
一旦死亡就会被清除。有没有办法阻止这些日志被删除以进行调试?
答案 0 :(得分:1)
因为,你有纱线上的火花,我希望这有助于收集所有的日志
yarn logs -applicationId <application ID>