我已经为我的EMR工作购买了一些预留实例。因此,我正在考虑从为每个作业启动新集群到拥有持久集群。
我要这样做的原因是,我想按优先级隔离工作。通过使用持久性群集,我可以通过Yarn Fair Scheduler轻松完成此任务。
因此,我想问问使用持久集群是否有任何弊端?我心中有几个缺点:
调试时难于获取日志信息
维护问题,例如监视cpu,实例中的内存。如果实例不起作用,请替换它。
(此外:如果不建议使用持久集群,那么推荐的隔离EMR作业的方法是什么。我正在考虑在服务中实现自己的作业队列)。
谢谢!