在.NET云中运行分布式计算的框架

Question

我正在考虑在 Windows Azure 的.NET云环境中开发一个框架来简化分布式计算的运行。

Azure当前（并且在发布时很可能）完全不适合在云中简单运行分布式查询（details）。 简单对我来说就像DryadLINQ，您可以在其中编写查询：

var results = from c in collection
  where IsLegal(c.Key)
  select new 
  { 
    Key = Hash(c.Key), 
    Result = RunModel(c.Value); 
  };

并在群集中的多台计算机上远程执行。没有任何部署，存储或配置可以打扰。

您可以建议哪些资源，论文或开源项目检查有关该主题的其他信息（尤其是日程安排和DAG优化）？

我一直在挖掘Hadoop（由Amazon Elastic Map Reduce使用）＆amp; DryadLINQ到目前为止。显然，这包括谷歌搜索。

Answer 1

Google Research上有很多有趣的论文。

如果您尚未阅读，MapReduce Paper可能是一个很好的起点。