我计划将Amazon EMR用于火花流应用程序。亚马逊提供了一个很好的界面来显示stderr＆amp;控制器日志。但对于流媒体应用程序，我不确定如何管理日志。
亚马逊将数据记录到/var/log/hadoop/steps/<step-id>以及类似的地方火花。 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-manage-view-web-log-files.html
我想知道如何旋转日志，仍然可以通过aws emr web界面访问。我们可以通过配置hadoop-log4j轻松更改日志轮换策略，但这样我无法通过Web界面访问它。此外，EMR应管理日志s3上传
答案 0 :(得分：-1)
AWS EMR还将日志存储在S3中。
导航到正在运行的群集的群集控制台，在左侧中间列中，您将看到s3存储桶的路径。
小心不要为将来的群集重用相同的s3存储桶路径，否则您可能会覆盖日志数据。