Athena是否有一个巨大的机器集群准备好从用户那里获取查询并针对他们的数据运行它们?他们是否正在使用特定的开源集群管理软件?
答案 0 :(得分:5)
我相信AWS绝不会透露他们如何运营雅典娜服务。但是,由于Athena管理PrestoDB,因此可以基于此推断出整体设计。
PrestoDB不需要像YARN,Messos这样的集群管理器。它有自己的计划程序和调度程序,能够在工作节点上运行SQL物理计划。
我假设每个可用区内的AWS维护连接到数据目录(AWS Glue)和presto worker的PrestoDB协调器。工人有弹性和自动调节。如果不活动,他们会缩小规模,但当突然发生活动时,新工作人员会加入群集。