标签： performance apache-spark mesos
我试图根据以前的作业历史记录性能数据预测Spark作业资源需求。使用X（数据输入速率，CPU，内存）预测Y（作业输出速率）。但是，经过几周的研究，我意识到Spark总是会尝试耗尽Mesos提供的CPU。
这意味着，只要有足够的资源，CPU和内存似乎对输出速率的影响就不会很大。看起来输出速率主要取决于输入速率，CPU和内存信息的影响不大。
所以我在这里很困惑，它仅适用于Spark / Mesos Job吗？甚至在VM上运行的传统应用程序也是如此？
有人可以给我一些提示吗？
谢谢