EMR:持久性集群与新集群进行工作

时间:2018-10-14 21:58:10

标签: amazon-web-services amazon-ec2 amazon-emr

我已经为我的EMR工作购买了一些预留实例。因此,我正在考虑从为每个作业启动新集群到拥有持久集群。

我要这样做的原因是,我想按优先级隔离工作。通过使用持久性群集,我可以通过Yarn Fair Scheduler轻松完成此任务。

因此,我想问问使用持久集群是否有任何弊端?我心中有几个缺点:

  • 调试时难于获取日志信息

  • 维护问题,例如监视cpu,实例中的内存。如果实例不起作用,请替换它。

(此外:如果不建议使用持久集群,那么推荐的隔离EMR作业的方法是什么。我正在考虑在服务中实现自己的作业队列)。

谢谢!

0 个答案:

没有答案