如何在YARN上以客户端模式从执行程序收集日志输出？

Question

如果我有一个由Jenkins触发的spark工作，我如何从spark工作人员那里获得输出以显示在Jenkins日志中？我在客户端模式下使用yarn，而不是独立的spark。

Answer 1

申请完成后使用yarn logs -applicationId。如果它正在运行，您可以使用YARN控制台（通常在8088端口上）或访问管理Spark应用程序容器的NodeManagers上的磁盘上的日志。