在Amazon EMR上创建执行时间表

Question

我有兴趣使用job_history_summary.py脚本创建我的EMR集群的任务时间轴，类似于此（picture from Smith College Hadoop Tutorial 1.1，但显然来自雅虎TeraSort实验报告。）。

似乎Hadoop日志存储在每个节点上，而不是存储在中央服务器上。我是否需要手动组合日志？似乎脚本实际上并没有产生图形。

Answer 1

您可以启用日志记录并提供s3存储桶。日志将被压缩并存储在提供的s3存储桶中。