各个数据中心火花日志在哪里？

Question

dataproc火花作业日志位于何处？我知道驱动程序的日志来自＆＃34; Logging＆＃34;部分，但执行节点呢？此外，Spark正在执行的详细步骤记录在哪里（我知道我可以在Application Master中看到它们）？我试图调试一个似乎挂起的脚本，火花似乎冻结了。

Answer 1

任务日志存储在/tmp下的每个工作节点上。

可以通过纱线日志聚合在一个地方收集它们。在群集创建时设置这些属性（通过--properties使用yarn:前缀）：

• yarn.log-aggregation-enable=true
• yarn.nodemanager.remote-app-log-dir=gs://${LOG_BUCKET}/logs
• yarn.log-aggregation.retain-seconds=-1

这是一篇讨论日志管理的文章：

https://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/