Airflow任务的内存,CPU和IO

时间:2019-04-15 22:35:10

标签: python amazon-web-services airflow amazon-ecs datadog

我正在研究一个问题,以识别密集的Airflow任务,这些任务正在AWS ECS容器中使用更多的内存,CPU或IO。我可以从ECS容器中看到整体的内存和CPU使用率。如何按特定的流程和任务级别进行操作?任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:0)

ECS当前不发布通过RunTask运行的单个任务的统计信息,而仅发布服务中一部分任务的聚合统计信息。我建议您使用DataDog之类的第三方服务,或者运行自己的Prometheus刮板。您可以在群集中将这些工具作为“ DAEMON”类型的服务运行,以便它们在群集中的每个主机上运行,​​并监视从整个群集开始的每个Docker容器的Docker统计信息。

请注意,任务级别指标当前已在ECS的路线图上,因此随时可以在Github中将此路线图项保留您的要求和/或+1:https://github.com/aws/containers-roadmap/issues/70