如何仅访问纱线群集中的火花日志

Question

我在群集模式下使用spark with yarn，我想只检索有关spark的日志以便使用历史服务器。有没有办法做到这一点，而不是从大日志文件中复制粘贴它？

Answer 1

是的，您可以记录每项任务的日志。 您需要转到纱线UI（8088端口）并复制任务的ID。 然后使用命令：

yarn logs --applicationId <TASK_ID> 

例如：

yarn logs --applicationId application_1504771895665_0001    

通过此命令，您可以查看任务所使用的每个容器的日志。