更好地构建或购买计算网格平台?

时间:2010-03-26 15:21:47

标签: java grid hadoop cloud gridgain

我希望对字符串匹配进行一些处理器密集型的强力处理。我已经在多线程环境中运行我的原型,并将性能与使用带有几个节点(也是多线程)的Gridgain的实现进行了比较。

我观察到的性能是我的Gridgain实现对我的多线程实现执行得更慢。可能是我的网格实施存在缺陷,但它只是一个原型,我认为结果是指示性的。所以我的问题是:

必须学习并为特定网格平台构建实现有什么好处(hadoop,gridgain或EC2,如果要托管 - 欢迎其他建议),当一个人可以相当容易地组建一个轻量级计算网格平台时一个更浅的学习曲线?...即我们通过这些值得拥有/难以实施的云/网格平台免费获得什么?

(请注意,我不需要数据网格)

干杯,

-James

(如果需要的话,很高兴制作这个社区维基)

1 个答案:

答案 0 :(得分:1)

你在处理什么样的网格?运行相同操作系统的十几台主机运行网格非常简单 - 您真正需要处理的是将工作发送到每台主机,可能需要一点负载平衡,可能会考虑如果主机出现故障该怎么办,当你更新你的服务时,可能会处理向主机分发新的服务代码,但是如果你不处理任何这些代码,那么由于网格是一个可管理的大小,这不是什么大问题。如果您正在处理1000个主机,或者由于单个主机发生故障而永远不会停机或出现错误的服务,那么您突然不得不担心:

  • 没有超载任何单个主机
  • 分发新服务代码
  • 检测主机何时没有响应,不发送新作品,以及重新发送正在处理的内容
  • 可能跨越不同的操作系统和体系结构(小端与大端)
  • 节能 - 在低负载时关闭主机并将其重新启用以实现高负载
  • 扩展 - 如果你明天将100个主机添加到你的网格中需要多长时间才能使它们连接并正常工作?
  • 可靠性 - 某些服务实际上可能在2-3个不同的主机上执行计算,并且仅返回所有主机同意的答案

这是大多数网格软件在您需要时应该为您做的事情的简短列表。如果你正在做一些小的或非关键的事情,那么一定要自己动手。如果你正在开发一些必须工作的东西,或者足够大,在部署过程中有任何手动步骤将是一个维护噩梦,那么你可能想要使用已经存在的东西。