我想创建某种分布式设置，以便在生产环境中运行大量小型/简单的REST Web查询。对于从节点执行的每个5-10个相关查询，我将生成非常少量的派生数据，这些数据需要存储在标准关系数据库（例如PostgreSQL）中。
为此类问题集构建了哪些平台？性质，数据大小和数量似乎与Hadoop的思维方式相矛盾。还有更多基于网格的架构，例如Condor和Sun Grid Engine，我已经看过了。我不确定这些平台是否可以从错误中恢复（检查作业是否成功）。
我真正想要的是一个FIFO类型队列，我可以添加作业，最终结果是我的数据库更新。
关于这项工作的最佳工具的任何建议？