主从并行处理

时间:2014-12-26 02:52:37

标签: google-app-engine

对于遗传程序,每一代都是主人,每条染色体都是奴隶。突变后,染色体必须将结果归还给代。一代的所有染色体可以并行处理。如何在App Engine中实现它?

如果我选择每个染色体作为一项任务,我会遇到以下问题。 1.染色体如何将结果反馈给呼叫生成者。将结果存储在数据存储区是很麻烦的(染色体的数据结构有一个KDTree) 2.如何通知一代染色体已完成任务,以便生成可聚合所有染色体的结果并触发下一代? (投票很麻烦。)

Taskqueue或其他,我该如何完成?

1 个答案:

答案 0 :(得分:0)

我不知道你怎么可能(做那么容易,就是这样)。任务队列之间无法真正相互通信,除非通过数据存储区/内存缓存(您似乎不想使用它,因为您的结构有点太大了)。

在我看来,你建议的方式是你真正做到的唯一方法。也许使用模块或端点可能会有所不同,但即便如此,您也有一些非常麻烦的方式将信息从一个转移到另一个。

App Engine可能不是这种用例的解决方案....也许在Compute引擎上运行一些东西,你可以更好地控制你的线程?