如何并行运行耗时的任务？

Question

为了增强我的应用程序，我计划将一个耗时的任务移动到异步运行并进行一些离线处理。想到的第一个想法是使用带有守护程序线程的hadoop。不幸的是，我们依赖的组件只能在windows上运行。因此，我把注意力转向队列技术。我发现rabbitmq对我们来说是一个潜在的解决方案。但我们没有这方面的经验。我们有一些问题：

1. 如何监控工作线程？
2. 如何通过创建更多交换来提高绩效？
3. 如何根据工作机器空闲资源进行负载均衡？
4. 如何进行故障转移？

您认为使用rabbitmq进行并行计算是个好主意吗？如果你有品味rabbitmq与并行计算。你能给我一些建议或想法吗？ 感谢您的回答和评论。

注意： 我们的任务没有跨越工人机器（与map / reduce不同）。也就是说，一个任务只分配给一台工人机器。