TORQUE，HTCondor和Apache Mesos之间的主要区别是什么

Question

• http://www.adaptivecomputing.com/products/open-source/torque/
• https://research.cs.wisc.edu/htcondor/

我正在寻找一个程序来执行分布式计算（不需要并行计算），其中包含：

• 调度程序
• 队列管理（FIFO，或最好是更高级的东西）
• 一份好的统计报告
• 在异构集群（一组具有不同特性的计算机，如cpu和内存）上运行的能力
• 非常重要：良好的响应性（在任务触发和实际执行开始之间最多几秒钟：我听说用HTCondor和TORQUE实现这可能很棘手？Apache Mesos怎么样？）

Answer 1

比较中有一个很大的wikipedia page，但是您几乎找不到很大的差异。我的猜测是，理论上大多数事情都可以在任何一个框架中完成。您列出的所有内容都取决于视角（例如，人们通常会从HTCondor日志中编写自己的复杂统计信息）。关于响应能力：如果有足够的资源供工人上班，HTCondor可以很好地安排交互式笔记本。几秒钟通常是没有问题的，但是几乎没有保证。这些是高吞吐量系统，但不是低延迟系统。如果您关心延迟，则应该预分配工作器并按比例缩放它们（这里对其他框架的支持远比本地延迟有用）。

我会尽我所能突出每个项目的主要重点，这对于实际决策很重要：

目标受众

Mesos：

• 旨在运行其他调度程序（you can run Torque on top of Mesos）的PaaS / IaaS
• 特别与Spark和Kafka等大数据框架进行互操作

vs。

HTCondor和扭矩：

• 公平共享批处理，尤其是在科学集群中（高吞吐量计算）

生态系统

Mesos：

• 带有community的Apache开源项目

vs。

HTCondor：

• UW-Madison使用经典user mailing-list维护的开源

vs。

扭矩：

• 专有，Commercial support

易于使用

（部分是统计信息，但更多是仪表板样式）

中压和扭矩：

• Web用户界面
• 通常与其他可用框架集成（对于TORQUE，请寻找PBS）

HTCondor：

• 新的，正在开发的REST和python接口，但没有通用的GUI
• 在框架支持上仅落后一小部分（R batchtools，最近获得了较早的支持）