是否有可能从许多计算机创建更快的计算机？

Question

如何使用多台计算机创建更快的环境？我有大约12台计算机，每台4GB，每台2GHz。我需要运行一些耗时的数据转换，并希望使用这些机器的组合功能。他们都在运行Win2003服务器。

基本上我们需要转换大量视频文件，以便我们的分析师可以进行分析。由于我无法告诉你有关该项目的更多信息，这个问题很复杂。

我将其移至：https://serverfault.com/questions/40615/is-it-possible-to-create-a-faster-computer-from-many-computers

Answer 1

是的，它最近被称为Grid Computing或更近，云计算。

有许多编程工具包可用于通过网络分发您的操作。从构建到数据库操作再到复杂的数学库，再到特殊的并行编程语言。

适用于各种规格产品的解决方案，从IBM和Oracle到较小的供应商，如Globus。甚至还有开源解决方案，例如GridGain和NGrid（后者在SourceForge上）。

Answer 2

只有当您可以拆分作业并在多台计算机上平行运行时，才能获得速度。你能用你的数据转换程序做到吗？我所知道的一件事是亚马逊支持map-reduce。如果您可以将数据转换问题表达为map-reduce问题，则可以利用亚马逊基于云的Hadoop服务。

Answer 3

实际上没有“开箱即用”的方式将多台计算机以一般的方式组合成一台大型计算机。

这里的想法是分布式计算，你必须编写一个程序（可能使用现有的框架），它本质上将你的数据转换为更小的块，将它们发送到每个其他计算机进行处理，然后聚合结果。

这是否有效取决于问题的性质 - 是否可以分成多个可以独立处理的块？

如果是这样，那么您可以使用几个现有的框架来构建这样的应用程序。例如，使用Hadoop的Map-Reduce将是一个很好的起点。

Answer 4

您的程序可能需要修改为利用多台计算机。

执行此操作的一种方法是使用MPI的实现（当您使用Windows Server时可能MSMPI）

Answer 5

尝试查看Condor。他们的主页信息很少，所以请先查看wikipedia文章。

Answer 6

有许多工具可以使用分布式计算机网络。

一个例子是Incredibuild

Answer 7

想象一下Beowulf cluster这些东西！